چکیده
مقدمه
الگوریتم بهینه سازی برای قیمت گذاری برق با استفاده از الگوریتم DQN
پیش پردازش داده های برق راه آهن شهری
ارزیابی عملکرد صرفه جویی در قیمت گذاری برق
نتیجه گیری
منابع
Abstract
Introduction
Optimization Algorithm for Electricity Pricing Using DQN Algorithm
Urban Railway Power Data Preprocessing
Electricity Pricing Saving Performance Evaluation
Conclusion
References
چکیده
این مقاله الگوریتم برنامهریزی شارژ و تخلیه بهینه سیستمهای ذخیرهسازی انرژی را بر اساس یادگیری تقویتی برای صرفهجویی در قیمتگذاری برق یک سیستم راهآهن شهری در کره پیشنهاد میکند. بهینهسازی از طریق یادگیری تقویتی زمانبندی شارژ و دشارژ سیستمهای ذخیرهسازی انرژی با توجه به واحد نرخهای قیمتگذاری برق و همچنین کاهش تقاضای پیک توان برای صرفهجویی در قیمتگذاری برق انجام میشود. برای انجام این کار، مدلسازی سیستمهای راهآهن شهری شامل سیستمهای ذخیرهسازی انرژی، نرخهای قیمت برق و تغییرات نرخها بر اساس عملیات سیستمهای ذخیرهسازی انرژی انجام میشود. یادگیری تقویتی برای یک عامل نیز برای کاهش تقاضای اوج توان از طریق الگوریتم DQN انجام می شود. داده های عملیاتی خطوط واقعی راه آهن شهری که با سیستم های ذخیره انرژی کار می کنند برای یادگیری استفاده می شود. برای این یادگیری تقویتی، حدود 399 (45.3٪) داده های نادرست حذف و 481 (54.7٪) داده های عادی استخراج شده است. از طریق یادگیری تقویتی، حداکثر تقاضای پیک توان با مقدار مورد نظر، 100 کیلووات، از 2982.4 کیلووات به 2882.4 کیلووات کاهش می یابد. هنگامی که پیک تقاضای توان کمتر از 2600 کیلو وات است، شارژ در زمانهایی که نرخ توان ارزانتر است و تخلیه در زمانهایی که نرخ توان گرانتر است انجام میشود، بنابراین در قیمت کل برق صرفهجویی میشود.
توجه! این متن ترجمه ماشینی بوده و توسط مترجمین ای ترجمه، ترجمه نشده است.
Abstract
This paper proposes the optimal charging and discharging scheduling algorithm of energy storage systems based on reinforcement learning to save electricity pricing of an urban railway system in Korea. Optimization is done through reinforcement learning of charging and discharging schedule of energy storage systems according to the unit of electricity pricing rates as well as a reduction of peak power demand to save electricity pricing. To do this, modeling of urban railway systems including energy storage systems, electricity pricing rates, and changes in rates according to operations of energy storage systems are carried out. Reinforcement learning for an agent is also done to reduce peak power demand through DQN algorithm. Operation data of actual lines of urban railways operating with energy storage systems are utilized for learning. For this reinforcement learning, about 399(45.3%) incorrect data are removed and 481(54.7%) normal data are extracted. Through the reinforcement learning, maximum peak power demand is reduced by a targeted amount, 100 kW, from 2,982.4 kW to 2,882.4 kW. When the peak power demand is under 2,600 kW, charging at times when the power rate is cheaper and discharging at times when the power rate is more expensive are carried out, thus saving the total electricity pricing.
Introduction
Urban railway system consists of rolling stock load and station load. The greatest amount of power used is for operation of large capacity rolling stock load. Power used for rolling stock load depends on the train schedule. Peak power demand occurs during rush hours when there are more train services but the amount of power used is dramatically reduced during the dawn and midnight hours when there are fewer train services, which reduces the total load for the system.
The industrial pricing rate is applied for the electricity pricing of the urban railway system in Korea. This is composed of usage rate calculated from hourly usage and basic rate calculated from peak power demand in 15-min periods. For the basic rate, monthly peak power demand from the current month and the past 12 months are compared and calculated by setting the biggest value as the standard. Therefore, the peak power demand impacts the basic rate for 12 months henceforth, even if it happened only once [1–3].
Conclusion
This paper proposes the optimal charging and discharging scheduling algorithm of energy storage system based on reinforcement learning to reduce electricity pricing of urban railway systems in Korea. To do this, modeling of an urban railway system including its energy storage system, electricity pricing rates applied, and changes in rates according to actions of the energy storage system are carried out. Reinforcement learning agent is also performed to reduce peak power demand through DQN algorithm. An energy storage device is installed for the purpose of reinforcement learning and the actual operating lines data of the urban railway is used. For more efective learning, two years data measured from real operation lines are preprocessed to present a standard power consumption pattern, and outliers found out of the range of the standard model is eliminated through time series comparison.