دانلود مقاله یادگیری تقویتی برای اتوماسیون طراحی مهندسی
چکیده
1. مقدمه
2. مطالعات مرتبط
3. روش
4. کاربردها و نتایج
5. بحث
6. نتیجه گیری و کار آینده
منابع
Abstract
1. Introduction
2. Related work
3. Method
4. Applications and results
5. Discussion
6. Conclusion and future work
CRediT authorship contribution statement
References
چکیده
یادگیری تقویتی ثابت کرده است که می تواند وظایف پیچیده ای مانند بازی های ویدیویی، کنترل رباتیک، تشخیص و پردازش گفتار یا تصویر را حل کند. انتقال یادگیری تقویتی به طراحی مهندسی به غلبه بر دو موضوع فعلی اتوماسیون طراحی مبتنی بر داده در طراحی مهندسی کمک می کند. اول، برخورد با داده های آموزشی پراکنده ناشی از نمونه های طراحی متفاوت. دوم، غلبه بر تعداد محدود نمونه در داده های آموزشی به دلیل سابقه کوتاه یا ناکافی محصول. برای معرفی یک رویکرد جایگزین برای اتوماسیون طراحی، این مقاله امکان‌سنجی، تلاش آموزشی و قابلیت انتقال یادگیری تقویتی در طراحی مهندسی را مورد مطالعه قرار می‌دهد. روش ارائه شده نیازمندی‌های مهندسی و مدل‌های پارامتریک را در محیط‌های یادگیری ترسیم می‌کند و یک رویکرد جدید برای اتوماسیون طراحی ارائه می‌کند. علاوه بر آن، سهم فراپارامترهایی را که مهندسان طراح باید قبل از آموزش تنظیم کنند، خلاصه می‌کند و یک مفهوم یادگیری انتقال جدید را برای یادگیری تقویتی در وظایف طراحی مرتبط معرفی می‌کند. پشتیبانی توسط وظایف طراحی قطعات دوچرخه مبتنی بر عملکرد بررسی می شود. شاخص‌های مستقل از مورد برای تخمین تلاش آموزشی خاص، اثرات تغییرات فراپارامتر و اثرات انتقال یک عامل از پیش آموزش‌دیده به وظایف طراحی مرتبط ارائه شده‌اند. در نهایت، از یافته‌ها برای مقایسه یادگیری تقویتی با سایر رویکردهای اتوماسیون طراحی مستقل از داده برای ارزیابی زمینه‌های بالقوه کاربرد یادگیری تقویتی در طراحی مهندسی استفاده می‌شود.
توجه! این متن ترجمه ماشینی بوده و توسط مترجمین ای ترجمه، ترجمه نشده است.
Abstract
Reinforcement Learning has proven to be capable of solving complex tasks like playing video games, robotics control, speech or image recognition and processing. Transferring Reinforcement Learning into engineering design helps to overcome two current issues of data-driven Design Automation in engineering design. First, dealing with sparse training data resulting from differing design samples. Second, overcoming the limited number of samples in the training data as consequence of short or insufficient product history. To introduce an alternative approach for Design Automation, this contribution studies feasibility, training effort and transferability of Reinforcement Learning in engineering design. The presented method maps engineering requirements and parametric models into learning environments and provides a novel approach for design automation. In addition to that, the contribution summarises the hyperparameters, which design engineers have to set prior to training, and introduces a novel transfer learning concept for Reinforcement Learning in related design tasks. The support is probed by design tasks of performance-oriented bike parts. Case-independent indicators are presented to estimate the case-specific training effort, the effects of hyperparameter variation and the effects of transferring a pretrained agent to related design tasks. Finally, the findings are used to compare Reinforcement Learning to other data-independent Design Automation approaches to assess potential fields of application for Reinforcement Learning in engineering design.
Introduction
The engineering design process can be considered as a highly iterative problem-solving process [1]. Starting with the task clarification and ending at the finalisation of details in the definitive layout, the degree of freedom in design decisions is reduced, while the percentage of repetitive tasks is increased. One of these repetitive tasks is the detailing of geometric parameters in CAD systems and their evaluation using computer-aided engineering tools, such as Finite Element Method (FEM). Shifting such tasks from the human designer over to the computer is called Design Automation, which describes an evolutionary step in computer-aided engineering and is achieved by knowledge-based engineering that represents a merging of object-oriented programming, artificial intelligence and computer-aided design technologies [2], [3]. One way to overcome the challenge of automating repetitive tasks in the design processes is the severe use of data. Data-driven modelling, which observes the history of designs in order to learn relations and make predictions for future designs, is one basic concept in the design automation branch [4], [5]. Recent approaches use machine learning to predict geometric parameters for defined requirements [6].
Conclusion and future work
In a nutshell, this contribution presents a general approach for design automation by Reinforcement Learning for parametric CAD models and general applicable indicators for RL training effort are stated. Furthermore, the presented concept for transfer learning for related design tasks adds to the novelty of this contribution. As RL is innovative in engineering design, one aspect of this contribution is the highlighting of requirements design engineers have to meet to use RL (RQ1 answered in Fig. 3). Findings concern feasibility, training effort and transferability of RL in engineering design. In this regard, three experiments utilising two applications illustrate a case-specific estimation of the training effort, the effects of hyperparameter variation (RQ2 answered in Fig. 9, Fig. 10) and the effects of transferring a pretrained policy to related design tasks (RQ3 answered in Fig. 11). The effort estimation demonstrated, that in comparison with shape optimisation, RL is less efficient for one design automation task but can be beneficial, when repetitive design tasks with slightly different requirements need to be automated. This makes RL interesting for two groups in the engineering design community. First, companies that run mass customisation processes can use RL for design automation as they have a high number of repetitive tasks.