دانلود مقاله اثر انگشت آموزش شبکه عصبی: آنالیز بصری فرآیند آموزش
چکیده
کلید واژه ها
1. مقدمه
2. مطالعات مرتبط
3 اثر انگشت آموزش شبکه عصبی
4. نتایج
5 بحث و محدودیت ها
6. نتیجه گیری
منابع
Abstract
Keywords
1 Introduction
2 Related work
3 Neural network training fingerprint
4 Results
5 Discussion and limitations
6 Conclusions
References
چکیده
نتایج قابل توجه شبکه های عصبی عمیق (DNN) انگیزه پذیرش گسترده آن برای مقابله با مجموعه داده های بزرگ و وظایف پیچیده مانند پردازش زبان طبیعی، تشخیص چهره و تولید تصویر مصنوعی شده است. با این حال، پارامترهای DNN اغلب به صورت تجربی بر روی یک رویکرد آزمون و خطا بدون اطلاعات دقیق در مورد رفتار همگرایی انتخاب می شوند. در حالی که برخی از تکنیک‌های تجسم برای کمک به درک شبکه‌های عصبی همه منظوره پیشنهاد شده‌اند، تنها تعداد کمی از آن‌ها فرآیند آموزش را بررسی می‌کنند، که فاقد توانایی نمایش کافی نحوه شکل‌گیری بازنمایی‌های انتزاعی و نمایش تأثیر پارامترهای آموزشی در طول این فرآیند هستند. این مقاله اثر انگشت آموزش شبکه عصبی (NNTF)، یک رویکرد تجزیه و تحلیل بصری برای بررسی فرآیند آموزش هر شبکه عصبی در حال انجام طبقه‌بندی را توصیف می‌کند. NNTF اجازه می دهد تا درک کنید که چگونه تصمیمات طبقه بندی در طول فرآیند آموزش تغییر می کند، اطلاعاتی در مورد همگرایی، نوسانات و نرخ آموزش نمایش می دهد. ما سودمندی آن را از طریق مطالعات موردی نشان می دهیم و نشان می دهیم که چگونه می تواند از تجزیه و تحلیل پارامترهای آموزشی پشتیبانی کند.
توجه! این متن ترجمه ماشینی بوده و توسط مترجمین ای ترجمه، ترجمه نشده است.
Abstract
The striking results of deep neural networks (DNN) have motivated its wide acceptance to tackle large datasets and complex tasks such as natural language processing, facial recognition, and artificial image generation. However, DNN parameters are often empirically selected on a trial-and-error approach without detailed information on convergence behavior. While some visualization techniques have been proposed to aid the comprehension of general-purpose neural networks, only a few explore the training process, lacking the ability to adequately display how abstract representations are formed and represent the influence of training parameters during this process. This paper describes neural network training fingerprint (NNTF), a visual analytics approach to investigate the training process of any neural network performing classification. NNTF allows understanding how classification decisions change along the training process, displaying information about convergence, oscillations, and training rates. We show its usefulness through case studies and demonstrate how it can support the analysis of training parameters.
Introduction
Deep neural networks (DNNs) are currently among the state-of-the-art for analyzing large-scale and complex datasets due to their ability to abstract high-level patterns and model data beyond most heuristics (Goodfellow et al. 2016; LeCun et al. 2015). They are widely used for natural language processing, face and speech recognition, and artificial data generation. One common application for DNNs is data classification consisting of inferring a model f : X!Y to correctly label unknown data based on a set of known labeled examples ðxi; yiÞ2XY, in which xi is a set of features in X, and yi is its corresponding label in Y.
Conclusions
A visual approach, called neural network training fingerprint (NNTF), was proposed to better understand the training process of artificial neural networks used to classify complex and large datasets. NNTF does not require information about the architecture or the model’s internal features, being characterized as a nonintrusive method. The only information needed to perform the network analysis is the classification outputs Fig. 13 Training fingerprints for different c values in VGG16 using Cifar-10 data. Images on the left side are more vibrant (highly different transitions), indicating that transitions at every iteration follow very particular patterns that do not repeat often (smaller steps in different directions in solution space). As c increases, the central diagonal starts to become darker, as solution space movement becomes smoother and iterations immediately close to one another generate more similar transitions 610 M. D. Ferreira et al. for each instance during the training, which allows the observation of many supervised models and their learning process.