یادگیری ساختاری در شبکه های عصبی مصنوعی با بهینه سازی تنک
چکیده
در این مقاله مسئله تخمین همزمان ساختار و پارامترهای شبکه های عصبی مصنوعی با چندین لایه مخفی در نظر گرفته می شود. روشی بر مبنای بهینه سازی تنک ارائه می شود. مسئله به صورت یک مسئله کمینه سازی هنجار ℓ0 به گونه ای فرمول بندی می شود که اوزان افزونه از شبکه عصبی حذف می شوند. چنین مسائلی به طور کلی ترکیبی هستند و اغلب حل نشدنی در نظر گرفته می شوند. بنابراین یک وزن دهی مجدد سلسله مراتبی تکراری برای آسان سازی هنجار ℓ0 ارائه می شود. آزمایش هایی روی مسائل محک ساده، برای طبقه بندی و رگرسیون و روی یک مطالعه موردی برای تخمین حرارت تلف شده در کشتی ها، انجام گرفته است. تمامی آزمایش ها بیانگر کارآمدی الگوریتم هستند.
1- مقدمه
انتخاب ساختار مدل ها و تخمین پارامترهای مدل وظایفی بنیادی در بسیاری از رشته های علمی و مهندسی هستند. شبکه های عصبی مصنوعی (ANN) روش غیر خطی نگاشت روابط ورودی ها و خروجی ها را فراهم می کنند و اغلب به صورت مدل های جعبه سیاه در جایی استفاده می شوند که دینامیک های زمینه مجهول یا پیچیده هستند. نشان داده شده است که ANNها با این شرط که تعداد گره ها به اندازه کافی بزرگ باشد (1) هر تابع پیوسته ای را با دقت دلخواه تقریب می زنند. بنابراین شبکه های بزرگ می توانند دقیقاً بیانگر یک مجموعه آموزشی دلخواه باشند و خطر بیش برازش مدل به داده های نویزدار بالا است. این امر اغلب منجر به تعمیم نامناسب روی داده های جدید می شود (2). بنابراین تا حد امکان کوچک نگه داشتن اندازه شبکه همزمان با حفظ برازش خوبی برای داده ها می تواند کارآمد باشد. انتظار می رود که با کاهش اندازه شبکه ها و فراهم کردن امکان همبندی تنک تعمیم بهبود یابد.
Abstract
In this paper, the problem of simultaneously estimating the structure and parameters of artificial neural networks with multiple hidden layers is considered. A method based on sparse optimization is proposed. The problem is formulated as an `0-norm minimization problem, so that redundant weights are eliminated from the neural network. Such problems are in general combinatorial, and are often considered intractable. Hence, an iterative reweighting heuristic for relaxing the `0-norm is presented. Experiments have been carried out on simple benchmark problems, both for classification and regression, and on a case study for estimation of waste heat recovery in ships. All experiments demonstrate the effectiveness of the algorithm.
1. Introduction
Selecting the structure of models and estimating model parameters are fundamental tasks in many fields of science and engineering. Artificial neural networks (ANN) provide a non-linear way of mapping relations between inputs and outputs, and are often used as black-box models for systems where the underlying dynamics are either unknown or complex. ANN:s have been shown to approximate any continuous function to arbitrary accuracy, provided that the number of nodes is sufficiently large [1]. Thus, large networks can exactly represent an arbitrary training set, and the risk of overfitting the model to noisy data is high. This will often result in bad generalization on new data [2]. Hence, it can be beneficial to keep the network size as small as possible, while maintaining good fit to the data. By reducing the size of the networks and by allowing sparse connectivity, generalization is expected to be improved.
نکات برجسته
چکیده
مقدمه
ساختار شبکه و نشان گذاری
همبندی تنک در شبکه های عصبی
3-1 بهینه سازی تنک
3-2 راه حل های تقریبی (P*0)
3-3 جستجوی خط پس گرد
آزمایش ها
4-1 مثال تشریحی
4-2 مثال تشریحی: طبقه بندی
4-3 مطالعه موردی: تخمین بازیافت حرارت تلف شده در کشتی ها
5 نتیجه گیری اظهارات
Abstract
1. Introduction
2. Network structure and notation
3. Sparse connectivity in neural networks
3.1. Sparse optimization
3.2. Approximative solutions to (P?
3.3. Backtracking line search
4. Experiments
4.1. Illustrative example: Regression
4.2. Illustrative example: Classification
4.3. Case study: Estimation of waste heat recovery in ships
5. Concluding remarks
- ترجمه فارسی مقاله با فرمت ورد (word) با قابلیت ویرایش، بدون آرم سایت ای ترجمه
- ترجمه فارسی مقاله با فرمت pdf، بدون آرم سایت ای ترجمه