دانلود مقاله بررسی یادگیری عمیق: پلتفرم ها، برنامه ها و رویه های تحقیقاتی نوظهور

چکیده

     یادگیری عمیق از دید عموم به عنوان محصولات و ابزارهای پیش گویانه و تحلیلی به شکل سیستم‌های انسان محور هوشمند جهانی شامل تبلیغات هدفمند، ابزارهای کمکی زبان طبیعی و مترجمان شفاهی، سیستم‌های وسایل نقلیه خودران و غیره گسترش یافته‌اند. البته، مکانیزم های اصلی که موجب ایجاد این محصولات هوشمند انسان محور می‌شوند، به شکل مبهم باقی مانده‌اند. از طرف دیگر، محققان در حوزه‌های مختلف از یادگیری عمیق در تحقیقات خود به منظور حل مسائلی که پیشتر قابل بررسی نبودند، بهره برده‌اند. ما در این مقاله در پی بررسی کامل یادگیری عمیق در برنامه‌ها و مکانیزم های آن هستیم. به ویژه، با بررسی مجموعه دسته بندی شده از آخرین پیشرفت‌های علمی در تحقیقات یادگیری عمیق، ما در پی ارائه یک مرجع بزرگ برای افرادی که در ابتدای مسیر آشنایی با یادگیری عمیق و کاربردها، پلتفرم‌ها، الگوریتم‌ها و استفاده‌های مختلف از آن در انواع سیستم‌های هوشمند جهانی هستند، خواهیم بود. علاوه براین، ما در پی بررسی پیشرفت‌های مهم اخیر در زمینه تکنولوژی و ایجاد نگرش مناسب نسبت به این حوزه‌ها و بیان تأثیر یادگیری عمیق در بهبود ارزیابی‌ها بوده و از سویی به حوزه‌های تحقیقاتی جدید که می‌توانند از یادگیری عمیق بهره برده اما همچنان از این رویکرد استفاده نکرده‌اند، اشاره می‌کنیم. ما امیدواریم که این بررسی تبدیل به مرجعی ارزشمند برای کارشناسان و فعالان حوزه یادگیری عمیق و همچنین افرادی شود که در پی ایجاد نوآوری در زمینه یادگیری عمیق هستند. 

1. مقدمه 

     موضوع یادگیری عمیق همراه با مفاهیمی همچون تحلیل کلان داده، رایانش کلان ابری/لبه‌ای و اینترنت اشیا (IoT)، سیستم‌های سایبری-فیزیکی تبدیل به یکی از مفاهیم در صنعت و حوزه‌های تحقیقاتی جهت ایجاد انواع سیستم‌های هوشمند جهانی شده است. یادگیری عمیق از ظرفیت بالایی در تقریب زنی و کاهش مجموعه داده‌های بزرگ و پیچیده به خروجی قابل پیش بینی و تبدیلی با دقت بالا برخوردار بوده و موجب تسهیل سیستم‌های هوشمند انسان محور می‌شود. برخلاف برنامه‌های برنامه‌های پیچیده با برنامه نویسی خاص برای یک وظیفه انعطاف ناپذیر، می‌توان ساختارهای معماری عمیق را برای انواع مختلف داده‌های بصری، صوتی، عددی، متنی یا ترکیبی از آنها اعمال کرد. علاوه براین، پلتفرم‌های یادگیری عمیق پیشرفته پیچیده‌تر شده و اغلب به صورت متن باز و در دسترس برای استفاده عموم قرار می‌گیرند. علاوه براین، شرکت‌های بزرگ شامل گوگل، ماکروسافت، آمازون، اپل و غیره سرمایه گذاری هنگفتی در تکنولوژی‌های یادگیری عمیق جهت ارائه نوآوری‌های سخت افزاری و نرم افزاری به منظور بهبود عملکرد یادگیری عمیق کرده‌اند به طوری که می‌توان از این نوآوری‌ها برای محصولات هوشمند نسل بعد استفاده کرد. 

6. نتایج 

     یادگیری عمیق به عنوان یک تکنولوژی در حال رشد شناخته می شود و در حال حاضر در حوزه های مختلف تاثیر قابل توجهی به همراه داشته است. هر چند که پذیرش کامل تکنولوژی های یادگیری عمیق در صنعت در حال انجام است، اما لازم است تا مراحل لازم جهت تضمین کارایی مطلوب یادگیری عمیق مورد توجه قرار گیرند زیرا مدل های ناقص یادگیری عمیق می توانند منجر به بروز زیان های مالی، از بین رفتن اعتماد و یا حتی در برخی از موارد، خسارات جانی شوند. در طی این بررسی، ما مروری بر عملیات یادگیری عمیق داشته و یادگیری عمیق را از روش های یادگیری سطحی مرسوم جدا کرده و به بیان فرآیند های پیاده سازی مهم پرداختیم. ما به بررسی دقیق ساختار های معماری یادگیری عمیق بر اساس مکانیزم های یادگیری (نظارتی، بدون نظارت و تقویتی) و ساختار های خروجی هدف پرداخته و مثال هایی را در هر مورد بیان کردیم. ما همچنین بسیاری از چارچوب های یادگیری عمیق رایج را معرفی کرده و آن را از دیدگاه طراحی، قابلیت تعمیم و کارایی مقایسه ای در نظر گرفتیم. باید توجه داشت که هر یک از چارچوب ها المان های اصلی یادگیری عمیق را به طرق مختلف با استفاده از کتابخانه های عمیق پیاده سازی کرده و برای سیستم های سخت افزاری مختلف بهینه سازی شده و موجب ایجاد درجات کنترل مختلف در طراحی مدل می شوند. 

     علاوه براین، ما به بررسی کامل پیشرفت ها در حوزه تحقیقات یادگیری عمیق پرداختیم. این موارد شامل پردازش چند رسانه ای (صوتی، بصری و متنی)، سیستم های مستقل، فرآیند های تشخیص پزشکی، علوم بیولوژیکی و فیزیکی، برنامه های مالی، تحلیل امنیت و ارتقای الگوریتمی هستند. در نهایت، با بررسی ساختار برخی از کارهای تکمیل شده، ما به بررسی حوزه هایی پرداخته ایم که در آنها یادگیری عمیق تاثیر قابل توجهی به همراه داشته و یا پیشرفت های قابل توجهی به وجود خواهند آمد. این موارد شامل تسریع و بهینه سازی یادگیری عمیق به وسیله سخت افزار اصلی و روش های رمزنگاری، یادگیری عمیق توزیع شده برای اینترنت اشیا و CPS، مدیریت شبکه و برنامه های کنترل یادگیری عمیق و شاید مهم تر از همه، ایمن کردن مدل ها و سیستم های یادگیری عمیق هستند. با توجه به کارکرد گسترده یادگیری عمیق به ویژه در حوزه های چند رسانه ای، و افزایش روز افزون تهدیدات پیچیده سایبری، توسعه مکانیزم های لازم جهت توانمند سازی سیستم ها در برابر داده های مخرب ضروری است. ما امیدواریم این تحقیق موجب ارائه یک مرجع ارزشمند برای محققان و مجریان علوم رایانه با به کارگیری تکنیک ها، ابزار ها و برنامه های یادگیری عمیق شده و موجب ایجاد تمایل برای بررسی دقیق تر حوزه های مختلف آن شود. 

Abstract

     Deep learning has exploded in the public consciousness, primarily as predictive and analytical products suffuse our world, in the form of numerous human-centered smart-world systems, including targeted advertisements, natural language assistants and interpreters, and prototype self-driving vehicle systems. Yet to most, the underlying mechanisms that enable such human-centered smart products remain obscure. In contrast, researchers across disciplines have been incorporating deep learning into their research to solve problems that could not have been approached before. In this paper, we seek to provide a thorough investigation of deep learning in its applications and mechanisms. Specifically, as a categorical collection of state of the art in deep learning research, we hope to provide a broad reference for those seeking a primer on deep learning and its various implementations, platforms, algorithms, and uses in a variety of smart-world systems. Furthermore, we hope to outline recent key advancements in the technology, and provide insight into areas, in which deep learning can improve investigation, as well as highlight new areas of research that have yet to see the application of deep learning, but could nonetheless benefit immensely. We hope this survey provides a valuable reference for new deep learning practitioners, as well as those seeking to innovate in the application of deep learning.

I. INTRODUCTION

     Along with Big Data and Analytics [149], [79], Cloud/Edge Computing-based Big Computing [155], [120], and the Internet of Things (IoT)/Cyber-Physical Systems (CPS) [125], [143], [148], [82], [80], [161], [127], [147], the topic of Deep Learning has come to dominate industry and research spheres for the development of a variety of smart-world systems, and for good reason. Deep learning has shown significant potential in approximating and reducing large, complex datasets into highly accurate predictive and transformational output, greatly facilitating human-centered smart systems [25], [98]. In contrast to complex hard-coded programs developed for a sole inflexible task, deep learning architectures can be applied to all types of data, be they visual, audio, numerical, text, or some combination. In addition, advanced deep learning platforms are becoming ever more sophisticated, often open source and available for widespread use. Furthermore, major companies, including Google, Microsoft, Amazon, Apple, etc., are heavily investing in deep learning technologies to supply hardware and software innovations that can further improve deep learning performance, which can be used for next generation smartworld products [4].

VII. FINAL REMARKS

     Deep learning is a technology that continues to mature, and has clearly been applied to a multitude of applications and domains to great effect. While the full-scale adoption of deep learning technologies in industry is ongoing, measured steps should be taken to ensure appropriate application of deep learning, as the subversion of deep learning models may result in significant loss of monetary value, trust, or even life in extreme cases. In this survey, we have provided an overview of deep learning operation, distinguishing deep learning from traditional shallow learning methods, and outlining prominent structural implementations. We have reviewed deep learning architectures in detail based on learning mechanisms (supervised, unsupervised, and reinforcement) and the target output structures, and provided typical examples in each case. We have also introduced many common and widely adopted deep learning frameworks, and considered them from the perspectives of design, extensibility and comparative efficacy. It is worth mentioning that each of the frameworks implements the basic elements of deep learning in different ways using different libraries, are optimized for different hardware systems, and provide varying degrees of control over model design.

     Additionally, we have thoroughly investigated the state-ofthe-art in deep learning research. These categories include multimedia (audio, visual, and text) processing, autonomous systems, medical diagnostics, biological and physical sciences, financial applications, security analysis, and algorithmic enhancement. Finally, having surveyed the landscape of completed works, we have highlighted areas in which deep learning research has yet to make significant strides, or where significant advances are immediately forthcoming. These include acceleration and optimization of deep learning via fundamental hardware and encoding methods, distributed deep learning for IoT and CPS, network management and control applications of deep learning, and, perhaps most importantly, securing deep learning models and systems. Given the widespread adoption of deep learning, especially in multimedia fields, and the inevitability of increasingly sophisticated cyber threats, the development of mechanisms to harden systems against adversarial data input is imperative. We hope this work provides a valuable reference for researchers and computer science practitioners alike in considering the techniques, tools, and applications of deep learning, and provokes interest into areas that desperately need further consideration.

(جهت بزرگ نمایی روی عکس کلیک نمایید)

چکیده

1. مقدمه 

2. مروری بر یادگیری عمیق 

3. دسته بندی یادگیری عمیق

4. پلتفرم‌های یادگیری عمیق 

5. روند های تحقیقاتی جدید 

6. نتایج 

منابع

Abstract

I. INTRODUCTION

II. OVERVIEW OF DEEP LEARNING

III. CATEGORIZATION OF DEEP LEARNING

IV. DEEP LEARNING PLATFORMS

VI. EMERGING RESEARCH TRENDS

VII. FINAL REMARKS

REFERENCES