এই প্রজেক্টে ডিপ নিউরাল নেটওয়ার্ক ট্রেনিংয়ের সময় একটি প্রধান সমস্যা 'Vanishing Gradient Problem' নিয়ে কাজ করা হয়েছে। এখানে কোডের মাধ্যমে দেখানো হয়েছে কিভাবে Sigmoid অ্যাক্টিভেশন ফাংশন এবং অনুরূপ ফাংশনগুলো ডিপ নেটওয়ার্কের ট্রেনিং লেয়ারে গ্রেডিয়েন্টকে খুব ছোট (প্রায় ০) করে ফেলে, যা নেটওয়ার্কের শেখার ক্ষমতা কমিয়ে দেয়।
- Problem Statement: ব্যাকপ্রপাগেশনের সময় গ্রেডিয়েন্ট ছোট হতে হতে আর্লি লেয়ারগুলোতে ওয়েট আপডেট বন্ধ হয়ে যাওয়ার বিষয়টি প্রতিষ্ঠিত করা হয়েছে।
- Dataset: Sklearn-এর
make_moonsডেটাসেট ব্যবহার করে একটি নন-লিনিয়ার ক্লাসিফিকেশন সমস্যা সমাধান করা হয়েছে। - Model Architecture: Pytorch ব্যবহার করে একটি ডিপ নিউরাল নেটওয়ার্ক তৈরি করা হয়েছে যেখানে Sigmoid অ্যাক্টিভেশন ফাংশন ব্যবহার করা হয়েছে।
- Observation: ট্রেনিং চলার সময় বিভিন্ন লেয়ারের ওয়েট পরিবর্তন এবং গ্রেডিয়েন্টের আচরণ ভিজ্যুয়ালাইজেশনের মাধ্যমে বিশ্লেষণ করা হয়েছে।
| বিষয় | বিবরণ |
|---|---|
| Concept | Vanishing Gradient Problem এবং ডিপ লার্নিংয়ে এর প্রভাব। |
| Framework | নিউরাল নেটওয়ার্ক তৈরি এবং ট্রেনিংয়ের জন্য PyTorch-এর ব্যবহার। |
| Activation | ডিপ আর্কিটেকচারে Sigmoid অ্যাক্টিভেশন ফাংশনের প্রভাব। |
| Data | make_moons ডেটাসেট দিয়ে নন-লিনিয়ার ক্লাসিফিকেশন। |
| Optimization | ব্যাকপ্রপাগেশনের সময় ওয়েট আপডেটের ট্র্যাক রাখা। |
| Visualization | Matplotlib ব্যবহার করে ডেটা এবং ট্রেনিং বিহেভিয়ার প্লট করা। |