استخراج کردن دانش از شبکه های عصبی عمیق از طریق تجزیه و تحلیل گراف
چکیده
محبوبیت یادگیری عمیق به خاطر توانایی و قابلیت آن برای حل و فصل کردن کارآمد وظایف پیچیده در زمینه ها و حوزه های چالش برانگیز مانند بینایی و بینش رایانه ای و پردازش زبان به طور قابل توجهی افزایش یافته است. علیرغم این موفقیت، فعالیت عصبی سطح پایین که دوباره توسط شبکه های عصبی عمیق تولید شده نمایش فوق العاده قوی از داده ها را ایجاد می کند. این بازنمایی ها و نمایش ها به سختی قابل شناسایی هستند و نمی توانند مستقیما برای درک فرایند تصمیم گیری استفاده شوند. در این مقاله ما کار اکتشافی خودمان را ارائه می دهیم که در آن ما مفهوم هم کنشی گراف را معرفی کرده و پتانسیل آنالیز گراف را برای توضیح و تفسیر بازنمایی ها و نمایش های عمیق بررسی کردیم. هم کنشی گراف همبستگی ها و روابط آماری بین مقادیر فعالسازی نورون ها را کدگذاری کرده و به مشخص کردن رابطه بین جفت های نورون ها در لایه های پنهان و رده ها و گروه های خروجی کمک می کند. برای اعتبارسنجی یافته های خودمان، ارزیابی تجربی را گسترش دادیم تا بتوانیم مجموعه داده ها و مدلهای دارای سطوح پیچیدگی مختلف را درنظر بگیریم. برای هر مجموعه داده درنظرگرفته شده، ما گراف همکنشی را مورد بررسی قرار داده و از آنالیز گراف استفاده می کنیم تا گروه ها و رده های مشابه را شناسایی کنیم، گره های مرکزی را پیدا کنیم و از تصویرسازی گراف استفاده نماییم تا نتایج این آنالیز را بهتر تفسیر کنیم. نتایج ما نشان می دهند که آنالیز گراف می تواند دیدگاه های مهمی را درمورد این موضوع نشان دهد که شبکه های عصبی عمیق (DNNs) چگونه کار می کنند و قابلیت تبیین و توضیح مدلهای یادگیری عمیق را چگونه فراهم می کنند.
1- معرفی
شبکه های عصبی عمیق (DNNs) مدرن می توانند مقادیر زیادی از داده ها را به کار بگیرند تا به طور کارآمد و موثر آموزش داده شوند تا وظایف سخت مانند ترجمه کردن زبان ها و شناسایی اشیا در یک تصویر را انجام دهند [1,2]. شبکه های عصبی عمیق (DNNs) نشان داده اند که به عملکرد خوبی در چنین وظایف پیچیده دست پیدا کرده اند که در آنها روشهای سنتی یادگیری ماشین ممکن است به خاطر ابعاد بالای داده ها موفق نباشند [3].
6- نتیجه گیری
در این مقاله ما یک رویکرد جدید برای آنالیز و توضیح کارکردهای داخلی مدلهای یادگیری عمیق به طور رسمی بیان کرده و مورد آزمایش قرار می دهیم. روش پیشنهادی متکی به مفهوم گراف هم کنشی معرفی شده در [12] است و در بخش 3 به طور رسمی بیان می شود که برای استخراج و نمایش دانش از شبکه عصبی عمیق (DNN) آموزش دیده استفاده شده است. در گراف هم کنشی گره ها نشان دهنده نورون ها در شبکه عصبی عمیق (DNN) هستند و روابط وزنی همبستگی آماری بین مقادیر فعالسازی آنها را نشان می دهند. این نمایش نورون ها را در هر لایه ای از شبکه عصبی، از جمله لایه های مخفی (متراکم و پیچشی)، به لایه خارجی متصل می کند.
Abstract
The popularity of deep learning has increased tremendously in recent years due to its ability to efficiently solve complex tasks in challenging areas such as computer vision and language processing. Despite this success, low-level neural activity reproduced by Deep Neural Networks (DNNs) generates extremely rich representations of the data. These representations are difficult to characterise and cannot be directly used to understand the decision process. In this paper we build upon our exploratory work where we introduced the concept of a co-activation graph and investigated the potential of graph analysis for explaining deep representations. The co-activation graph encodes statistical correlations between neurons’ activation values and therefore helps to characterise the relationship between pairs of neurons in the hidden layers and output classes. To confirm the validity of our findings, our experimental evaluation is extended to consider datasets and models with different levels of complexity. For each of the considered datasets we explore the co-activation graph and use graph analysis to detect similar classes, find central nodes and use graph visualisation to better interpret the outcomes of the analysis. Our results show that graph analysis can reveal important insights into how DNNs work and enable partial explainability of deep learning models.
1. Introduction
Modern Deep Neural Networks (DNNs) can leverage large amounts of data to be efficiently trained to perform hard tasks such as translating languages and identifying objects in an image [1,2]. DNNs have been shown to achieve good performance in such complex tasks where traditional machine learning methods may fail due to the high dimensionality of the data [3].
6. Conclusion
In this paper we formalise and experiment on a novel approach to analyse and explain the inner workings of deep learning models. The proposed methodology relies on the notion of coactivation graph introduced in [12] and formalised in Section 3 to extract and represent knowledge from a trained Deep Neural Network (DNN). In the co-activation graph nodes represent neurons in a DNN and weighted relationships indicate a statistical correlation between their activation values. This representation connects neurons in any layer of the neural network, including hidden (convolutional and dense) layers, with the output layer.
(جهت بزرگ نمایی روی عکس کلیک نمایید)
چکیده
1- معرفی
2- پژوهش مربوطه
3- گراف هم کنشی: تعریف و اجرا
4- ارزیابی: توضیح و تفسیر شبکه های عصبی عمیق به وسیله گراف های هم کنشی
1-4 ساخت گراف هم کنشی: مجموعه های داده و معماری های عصبی
2-4 آنالیز ساختار جامعه
3-4 آنالیز مرکزیت
4-4 تصویرسازی گراف های هم کنشی
5- بحث و مراحل بعدی
6- نتیجه گیری
منابع
Abstract
1. Introduction
2. Related work
3. Co-activation graph: Definition and construction
4. Evaluation: Explaining DNNs through co-activation graphs
4.1. Building the co-activation graph: Datasets and neural architectures
4.2. Community structure analysis
4.3. Centrality analysis
4.4. Visualising co-activation graphs
5. Discussion and next steps
6. Conclusion
References
در این محصول، به همراه ترجمه کامل متن، یک فایل ورد ترجمه خلاصه نیز ارائه شده است. متن فارسی این مقاله در 8 صفحه (2600 کلمه) خلاصه شده و در داخل بسته قرار گرفته است.
- اصل مقاله انگلیسی با فرمت ورد (word) با قابلیت ویرایش
- ترجمه فارسی مقاله با فرمت ورد (word) با قابلیت ویرایش، بدون آرم سایت ای ترجمه
- ترجمه فارسی مقاله با فرمت pdf، بدون آرم سایت ای ترجمه