آموزش برنامه درسی
چکیده
انسان ها و حیوانات زمانی بهتر یاد می گیرند که مثال هایی به طور سازمان دهی شده و به شکلی معنی دار( نه به طور تصادفی) به آن ها ارایه شود که به تدریج این مثال ها موجب شفاف تر شدن تدریجی مفاهیم پیچیده شود. در این جا ما با این راهبرد های آموزشی در زمینه یادگیری ماشینی آشنا شده و آن ها را یادگیری برنامه آموزشی می نامیم. در مطالعات تحقیقاتی اخیر، سختی آموزش در حضور معیار های آموزشی غیر محدب ( برای شبکه های عصبی تصادفی و قطعی عمیق)، ما به بررسی آموزش برنامه درسی در شرایط مختلف می پردازیم.آزمایشات نشان می دهند که پیشرفت های قابل توجهی را می توان در زمینه تعمیم و کلیت بخشی حاصل کرد. فرضیه ما این است که آموزش برنامه درسی هم بر روی سرعت همگرایی فرایند آموزشی به میزان حداقل اثر داشته و هم در حضور معیار های غیر محدب، بر روی کیفیت کمینه محلی اثر دارد. آموزش برنامه درسی یک شکل ویژه از روش مستمر است( یک راهبرد عمومی برای بهینه سازی جهانی توابع غیر محدب است).
Abstract
Humans and animals learn much better when the examples are not randomly presented but organized in a meaningful order which illustrates gradually more concepts, and gradually more complex ones. Here, we formalize such training strategies in the context of machine learning, and call them “curriculum learning”. In the context of recent research studying the difficulty of training in the presence of non-convex training criteria (for deep deterministic and stochastic neural networks), we explore curriculum learning in various set-ups. The experiments show that significant improvements in generalization can be achieved. We hypothesize that curriculum learning has both an effect on the speed of convergence of the training process to a minimum and, in the case of non-convex criteria, on the quality of the local minima obtained: curriculum learning can be seen as a particular form of continuation method (a general strategy for global optimization of nonconvex functions).
چکیده
1- مقدمه
2- نکاتی در خصوص مسئله بهینه سازی سخت یادگیری شبکه های عصبی عمیق
3- برنامه درسی به عنوان روش مستمر
4- آزمایشات اسباب بازی با معیار محدب
4-1 مثال های شفاف تر به تعمیم بهتر و سریع تر کمک می کنند
4-2 معرفی تدریجی مثال های سخت تر موجب تسریع آموزش انلاین می شود
5- آزمایشاتی بر روی تشخیص شکل
6- آزمایشات بر روی مدل سازی زبان
6-1 معماری
6-2 آزمایشات
7- بحث و کار های آینده
Abstract
1 Introduction
2 On the difficult optimization problem of training deep neural networks
3 A curriculum as a continuation method
4 Toy Experiments with a Convex Criterion
4.1 Cleaner Examples May Yield Better Generalization Faster
4.2 Introducing Gradually More Difficult Examples Speeds-up Online Training
5 Experiments on shape recognition
6 Experiments on language modeling
6.1 Architecture
6.2 Experiments
7 Discussion and Future Work
- ترجمه فارسی مقاله با فرمت ورد (word) با قابلیت ویرایش، بدون آرم سایت ای ترجمه
- ترجمه فارسی مقاله با فرمت pdf، بدون آرم سایت ای ترجمه