چکیده
آموزش شبکه های عصبی عمیق کار بسیار پرهزینه ای می باشد، که نه تنها فرایندی بسیار زمان بر خواهد بود، بلکه نیازمند توان محاسباتی بالایی نیز می باشد که عموماً هم به مجموعه داده های زیادی برای آموزش نیاز دارد و ازین حیث ممکن است همیشه در دسترس نباشد. با این وجود می توان از راه حل های جایگزین دیگری همچون مدل های پیش آموزش دیده شده که در مجموعه دادههای استاندارد تصویربرداری کامپیوتری توسعه یافتهاند کمک گرفت تا به رفع این چالش ها بیانجامد. در روش یادگیری انتقالی، ما اساساً سعی میکنیم از آنچه در یک وظیفه (Task) یاد گرفته شده است، برای بهبود تعمیم در وظیفه دیگر استفاده نماییم. در واقع ارزش گذاری داده هایی که یک شبکه در 'وظیفه الف' با مقدار زیادی از آن آموزش برچسب گذاری شده است را به یک 'وظیفه ب' جدید که داده های زیادی ندارد، منتقل می نماییم. به بیان دیگر، دانشِ یک مدل از قبل آموزش دیده شده به یک مسئله متفاوت، اما با ارتباط نزدیک از طریق یادگیری انتقالی منتقل خواهد شد. به عنوان نمونه، اگر ما یک طبقه بندی ساده برای پیش بینی اینکه آیا تصویری حاوی غذا است آموزش دهیم، می توانیم از دانش آموخته های مدل، برای شناسایی اشیای دیگری همچون نوشیدنی ها استفاده کنیم. این دانش می تواند به صورت های مختلفی به وجود آید که وابسته به مسئله و داده ها خواهد بود. در اینجا مدلهای برتر میتوانند بهطور مستقیم دانلود و استفاده شوند، یا حتی در یک مدل جدید که وظیفه تشخیص مشکلات مربوط به شناسایی اشیا در کامپیوترها را بر عهده دارند ادغام گردند. بنابراین، ما با سرعت بخشیدن به مرحله آموزش و عملکرد مدل یادگیری عمیق، حتی کار با مجموعه داده کوچک را نیز بهبود میبخشیم. در این کار، ما پیشنهاد میکنیم تا وظیفه طبقهبندی را با استفاده از سه مدل از پیش آموزش دیده که عبارتند از: MobileNet V2 ، Resnet50 و VGG19 انجام دهیم و نتایج را با استفاده از چهار معیار ارزیابی کلیدی مورد بحث قرار بدهیم. مجموعه داده ها، متشکل از یک شی خاص است تا بتواند عملکرد مدلها را مقایسه کند.
1. مقدمه
استفاده از شبکههای عصبی عمیق برای انجام طبقهبندی می تواند انتخابی ایدهآل باشد، چرا که عملکرد بهتری نسبت به سایر الگوریتمهای مشابه دارد. اگرچه آموزش آنها بر روی مجموعه دادههای بسیار بزرگ، ممکن است روزها یا حتی هفتهها به طول بیانجامد.
روش یادگیری انتقالی، مزیت کاهش زمان برای یک مدل شبکه عصبی را به همراه خواهد داشت. هدف این روش استفاده از دانش به دست آمده از یک وظیفه برای وظیفه متفاوت دیگر، اما مشابه می باشد. یادگیری انتقالی قادر است عملکرد مدل جدید را حتی زمانی که بر دسته داده کوچکی آموزش داده شده باشد افزایش دهد.
در متون علمی، طبقه بندی تصاویر با مدل های از پیش آموزش دیده برای انجام وظایف مختلف مانند شناسایی نمایش تصاویر ترسناک در اینترنت، طبقه بندی تصاویر بافت شناسی مربوط به سلول های سرطانی و غیر سرطانی سینه، طبقه بندی تصاویر سرطانی سلول های پوستی خوش خیم و بدخیم، و طبقه بندی تصاویر رادیوگرافی مربوط به التهاب ریه و کووید-۱۹، معرفی شده است. در این زمینه نویسندگان دو رویکرد برای طبقه بندی وضعیت بلوغ پاپایا (Papaya maturity status) پیشنهاد کرده اند، که این مقاله روش جدیدی را برای طبقه بندی صحنه های ویدیو ورزشی با هدف خاص خلاصه سازی ویدیو پیشنهاد می دهد. نویسندگان مقاله از روش یادگیری انتقالی استفاده کردند تا شبکههای پیش آموزش دیده شده VGG16 وWide Residual Networks را برای طبقهبندی استفاده از کاربرد و پوشش زمین با استفاده از نسخه قرمز-سبز-آبی مجموعه داده EuroSAT بهینه کنند.
6. نتیجه گیری
در این مقاله از یادگیری انتقالی برای انجام وظیفه طبقهبندی با استفاده از مدلهای پیشآموزشدیده MobileNetV2، ResNet50 و VGG19 استفاده نموده ایم. برای مجموعه داده خاص ما که هرگز توسط سه مدل دیده نشده است، شبکه VGG19 بالاترین دقت طبقهبندی (95%) و بالاترین f1-score را به دست آورد، اگرچه زمان اجرای آن 7 ساعت، 5 دقیقه و 52 ثانیه است. در حالی که ما با استفاده از ResNet50 در 2 ساعت، 3 دقیقه و 4 ثانیه دقت 92% و با کار با شبکه MobileNetV2 در فقط 19 دقیقه و 35 ثانیه، دقت 93% را به دست آوردیم.
در کارهای آتی، ما از یادگیری انتقال برای بررسی وظیفه طبقهبندی با استفاده از همان سه مدل از پیشآموزششده، یعنی MobileNetV2، ResNet50 و VGG19 استفاده خواهیم کرد. شاید بتوانیم با استفاده از مجموعه دادههای مختلف، نتایج را مقایسه کرده و برخی تعمیمها را بدست آوریم.
علاوه بر طبقهبندی دودویی که در این مطالعه مورد بررسی قرار گرفت، قصد داریم طبقهبندی چندگانه را با استفاده از مجموعه داده سفارشی خود انجام دهیم تا برخی از شاخصهای خاص را مشاهده و تجزیه و تحلیل کنیم و ببینیم آیا مدل شی خاص، ما را با همان عملکرد طبقهبندی میکند یا تغییراتی خواهد داشت!
Abstract
Training a deep neural network is an expensive work because it is a time-consuming task and requires high computational power and usually a lot of dataset is needed to train a neural network which is not always available. These problems can be avoided by re-using the model weights from pre-trained models that were developed for standard computer vision benchmark datasets. In transfer learning, we basically try to exploit what has been learned in one task to improve generalization in another. We transfer the weights that a network has learned at ‘task A’ with a lot of available labeled training data to a new ‘task B’ that doesn't have much data. The knowledge of an already trained model is transferred to a different but closely linked problem throughout transfer learning; For example, if we trained a simple classifier to predict whether an image contains food, we could use the model's training knowledge to identify other objects such as drinks. This knowledge can be in various forms depending on the problem and the data. Top performing models can be downloaded and used directly, or integrated into a new model for our own computer vision problems. Thus, we speed up the training phase and improve the performance of our deep learning model even with a small dataset. In the present work, we propose to do the classification task using the three pre-trained models: MobileNet V2, ResNet50 and VGG19 and we will discuss the results using four key evaluating metrics. The dataset constituted is about a particular object to compare the performance of The models.
1. Introduction
The use of deep neural networks on the classification task is the ideal choice, because of their better performance than other classification algorithms. But training a deep neural network may take days or even weeks to train on very large dataset.
Transfer learning has the benefit of decreasing time for a neural network model. It’s a subfield of machine learning and artificial intelligence; it aims to apply the knowledge gained from one task to another different but similar task. Transfer learning boosts the performance of the new model even when it is trained on a small dataset.
In the literature, image classification with pre-trained models has been introduced to do different tasks such as identifying the display of daunting pictures on the internet [1], classifying non-carcinoma and carcinoma histopathology images of breast cancer [2], classifying melanoma images into benign and malignant [3] and classifying the chest X-ray images into normal, pneumonia and COVID-19 [4]. In [5], the authors suggested two approaches for the classification of papaya maturity status and the paper [6] proposes a new method for sports video scene classification with the particular intention of video summarization. The authors of [7] paper used the transfer learning to fine-tune pre-trained networks VGG16 and Wide Residual Networks for land use and land cover classification using the red-green-blue version of the EuroSAT dataset.
6. Conclusion
In this paper, we make use of transfer learning to do classification task using the pre-trained models: MobileNet V2, ResNet50 and VGG19. For our specific dataset never seen by the three models, the VGG19 network have reached the highest classification accuracy (95%) and the highest f1-score although the execution time is 7h05min52s, while we obtained the accuracy of 92% using the Resnet50 in 2h03min04s and 93% while working with the MobileNet V2 network in just 19min35s.
In future works, we would explore the classification task by transfer learning using the same three pre-trained models : MobileNet V2, VGG19 and ResNet50 but with other datasets to compare the results and have some generalizations if possible.
In addition of binary classification treated in this study, we intend to do the multiple classification using our custom dataset to observe and analyze some specific metrics and see if the model classify our specific object by the same performance or there will be some changes.
چکیده
1. مقدمه
2. مدلهای پیشآموزش دیده شده
2.1 موبایل نت V1
2.2 موبایل نت V2
2.3 ResNet 50
2.4 VGG19
3. مجموعه داده (Dataset)
4. پیشپردازش و معیارهای ارزیابی
4.1 پیشپردازش
4.2 معیارهای ارزیابی
5. بحث و نتایج
6. نتیجه گیری
منابع و ماخذ
Abstract
1. Introduction
2. Pre-trained models
2.1. MobileNet V1
2.2. MobileNet V2
2.3. ResNet50
2.4. VGG19
3. Dataset
4. Preprocessing and evaluation metrics
4.1. Preprocessing
4.2. Evaluation metrics
5. Results and discussion
6. Conclusion
References
این محصول شامل پاورپوینت ترجمه نیز می باشد که پس از خرید قابل دانلود می باشد. پاورپوینت این مقاله حاوی 14 اسلاید و 6 فصل است. در صورت نیاز به ارائه مقاله در کنفرانس یا سمینار می توان از این فایل پاورپوینت استفاده کرد.
در این محصول، به همراه ترجمه کامل متن، یک فایل ورد ترجمه خلاصه نیز ارائه شده است. متن فارسی این مقاله در 5 صفحه (900 کلمه) خلاصه شده و در داخل بسته قرار گرفته است.
علاوه بر ترجمه مقاله، یک فایل ورد نیز به این محصول اضافه شده است که در آن متن به صورت یک پاراگراف انگلیسی و یک پاراگراف فارسی درج شده است که باعث می شود به راحتی قادر به تشخیص ترجمه هر بخش از مقاله و مطالعه آن باشید. این فایل برای یادگیری و مطالعه همزمان متن انگلیسی و فارسی بسیار مفید می باشد.
بخش مهم دیگری از این محصول لغت نامه یا اصطلاحات تخصصی می باشد که در آن تعداد 20 عبارت و اصطلاح تخصصی استفاده شده در این مقاله در یک فایل اکسل جمع آوری شده است. در این فایل اصطلاحات انگلیسی (تک کلمه ای یا چند کلمه ای) در یک ستون و ترجمه آنها در ستون دیگر درج شده است که در صورت نیاز می توان به راحتی از این عبارات استفاده کرد.