تدریس خصوصی ریاضی در مشهد

الگوریتم Gradient Descent• یک الگوریتم بهینه‌سازی کارآمد است. این الگوریتم تلاش می‌کند تا مینیمم سراسریِ (global minimum) یک تابع اتلاف (cost function) را بیابد. الگوریتم Gradient Descent، گرادیان محلیِ تابع خطا را نسبت به پارامتر θj محاسبه نموده و در جهت کاهش گرادیان حرکت می‌کند. زمانی که این گرادیان صفر شود، یعنی خطا صفر است و تابع هزینه به مینیمم مقدار خود رسیده است.چرا Gradient Descent ؟در بسیاری از کاربردها، اگر تابع هزینه بر حسب پارامتر θ رسم شود، نمودار حاصل، یک منحنی محدب خواهد بود که تنها یک مینیمم دارد. شیب در نقطه مینیمم، دقیقا صفر است. این مینیمم، دقیقا نقطه‌ای است که تابع هزینه باید به آن همگرا شود.برای محاسبه نقطه مینیممِ تابع هزینه، باید پارامترهای تابع هزینه برای همه θj‌ ها و روی همه داده‌ها محاسبه شود. این، راهی بهینه برای یافتن مینیممِ تابع اتلاف نیست. اینجاست که اهمیت Gradient Descent مشخص می‌شود. بخوانید, ...ادامه مطلب