Peer-to-Peer Energy Transaction Decision of Prosumers Based on Reinforcement Learning

Dan WANG; Bo LIU; Hongjie JIA; Ziyang ZHANG; Jingcheng CHEN; Pengfei SU

doi:10.7500/AEPS20200515005

您当前的位置：

首页 >

文章列表页 >

Peer-to-Peer Energy Transaction Decision of Prosumers Based on Reinforcement Learning

Basic Research | 更新时间：2025-06-16

- Peer-to-Peer Energy Transaction Decision of Prosumers Based on Reinforcement Learning
- Automation of Electric Power Systems Vol. 45, Issue 3, Pages: 139-147(2021)
- 作者机构：
  
  1.智能电网教育部重点实验室（天津大学），天津市 300072
  2.天津市智慧能源与信息技术重点实验室（天津大学），天津市 300072
  3.国网江苏省电力有限公司镇江供电公司，江苏省镇江市 212000
  4.国网天津市电力公司，天津市 300010
- 作者简介：
- 基金信息：
  
  National Key R&D Program of China;National Natural Science Foundation of China;State Grid Corporation of China
- DOI：10.7500/AEPS20200515005
  CLC：
- Received：15 May 2020，
  
  Revised：2020-09-10，
  
  Published Online：30 November 2020，
  
  Published：10 February 2021
- 稿件说明：
移动端阅览
王丹,刘博,贾宏杰等.基于强化学习的产消用户端对端电能交易决策[J].电力系统自动化,2021,45(3):139-147.

WANG Dan,LIU Bo,JIA Hongjie,et al.Peer-to-Peer Energy Transaction Decision of Prosumers Based on Reinforcement Learning[J].Automation of Electric Power Systems,2021,45(3):139-147.
王丹,刘博,贾宏杰等.基于强化学习的产消用户端对端电能交易决策[J].电力系统自动化,2021,45(3):139-147. DOI： 10.7500/AEPS20200515005.

WANG Dan,LIU Bo,JIA Hongjie,et al.Peer-to-Peer Energy Transaction Decision of Prosumers Based on Reinforcement Learning[J].Automation of Electric Power Systems,2021,45(3):139-147. DOI： 10.7500/AEPS20200515005.

摘要

强化学习是一种促进智能体在与环境交互过程中通过学习策略达成回报最大化的人工智能方法。在不进行优化计算和不充分了解市场机制的情况下，该方法非常适合处理小规模用户电能交易行为。文中首先建立了包含交易主体、交易电价和交易物理约束的产消用户端对端电能交易模型。其次，将电能交易问题等效为一个马尔可夫决策过程并对各学习要素进行建模。然后，基于Q-Learning强化学习算法，对马尔可夫决策过程中储能动作和交易策略选择问题进行均匀离散处理，并进行分析求解。最后，采用含多类型产消用户和消费用户的电能交易案例进行分析，验证强化学习方法在解决小规模产消用户端对端电能交易问题上的合理性和可行性。

Abstract

Reinforcement learning is an artificial intelligence method to maximize the payback of intelligent agents through learning strategies in the process of interaction with the environment. Without the optimal calculation and the full knowledge of the market mechanism

this method is very suitable for prosumers dealing with the small-scale energy transaction behavior of users. Firstly

a peer-to-peer energy transaction model including transaction subjects

price and physical constraints is established in this paper. Secondly

the energy transaction problem is equivalent to a Markov decision process and each learning element is modeled. Then

based on the Q-learning reinforcement learning algorithm

the problem of energy storage action and transaction strategy selection in Markov decision process is discretized uniformly

and then analyzed and solved. Finally

the case of energy transaction including multi-type prosumers and consumers is used to verify the rationality and feasibility of the reinforcement learning method in solving the peer-to-peer power transaction problem of small-scale prosumers.

关键词

Keywords

references

MORSTYN T ， FARRELL N ， DARBY S J ， et al . Using peer-to-peer energy-trading platforms to incentivize prosumers to form federated power plants ［J］. Nature Energy ， 2018 ， 3 （ 2 ）： 94 - 101 .

MURTY V ， KUMAR A . Multi-objective energy management in microgrids with hybrid energy sources and battery energy storage systems ［J］. Protection and Control of Modern Power Systems ， 2020 ， 5 （ 1 ）： 1 - 20 .

ZHANG D ， LI J ， HUI D . Coordinated control for voltage regulation of distribution network voltage regulation by distributed energy storage systems ［J］. Protection and Control of Modern Power Systems ， 2018 ， 3 （ 1 ）： 1 - 8 .

CHEN S ， LIU C C . From demand response to transactive energy： state of the art ［J］. Journal of Modern Power Systems and Clean Energy ， 2017 ， 5 （ 1 ）： 10 - 19 .

国务院 . 关于进一步深化电力体制改革的若干意见［R］.2015.

State Council . Several opinions on further deepening the power system reform ［R］. 2015.

国家发展改革委员会 . 关于推进“互联网+”智慧能源发展的指导意见［R］.2016.

National Development and Reform Commission . Guiding opinions on promoting the development of “Internet +” smart energy ［R］. 2016.

王程，刘念，成敏杨，等 . 基于Stackelberg博弈的光伏用户群优化定价模型［J］. 电力系统自动化， 2017 ， 41 （ 12 ）： 146 - 153 .

WANG Cheng ， LIU Nian ， CHENG Minyang ， et al . Stackelberg game based optimal pricing model for photovoltaic prosumer cluster ［J］. Automation of Electric Power Systems ， 2017 ， 41 （ 12 ）： 146 - 153 .

王健，周念成，王强钢，等 . 基于区块链和连续双向拍卖机制的微电网直接交易模式及策略［J］. 中国电机工程学报， 2018 ， 38 （ 17 ）： 5072 - 5084 .

WANG Jian ， ZHOU Niancheng ， WANG Qianggang ， et al . Electricity direct transaction mode and strategy in microgrid based on blockchain and continuous double auction mechanism ［J］. Proceedings of the CSEE ， 2018 ， 38 （ 17 ）： 5072 - 5084 .

PARAG Y ， SOVACOOL B K . Electricity market design for the prosumer era ［J］. Nature Energy ， 2016 ， 1 （ 4 ）： 1 - 6 .

ZHANG C ， WU J ， LONG C ， et al . Review of existing peer-to-peer energy trading projects ［J］. Energy Procedia ， 2017 ， 105 ： 2563 - 2568 .

LUO Y ， ITAYA S ， NAKAMURA S ， et al . Autonomous cooperative energy trading between prosumers for microgrid systems ［C］// IEEE Conference on Local Computer Networks Workshops ， September 8 - 11 ， 2014 ， Edmonton， Canada： 693 - 696 .

ZHANG Z ， ZHANG D ， QIU R C . Deep reinforcement learning for power system： an overview ［J］. CSEE Journal of Power and Energy Systems ， 2019 ， 6 （ 1 ）： 213 - 225 .

张自东，邱才明，张东霞，等 . 基于深度强化学习的微电网复合储能协调控制方法［J］. 电网技术， 2019 ， 43 （ 6 ）： 1914 - 1921 .

ZHANG Zidong ， QIU Caiming ， ZHANG Dongxia ， et al . A coordinated control method for hybrid energy storage system in microgrid based on deep reinforcement learning ［J］. Power System Technology ， 2019 ， 43 （ 6 ）： 1914 - 1921 .

彭刘阳，孙元章，徐箭，等 . 基于深度强化学习的自适应不确定性经济调度［J］. 电力系统自动化， 2020 ， 44 （ 9 ）： 33 - 46 .

PENG Liuyang ， SUN Yuanzhang ， XU Jian ， et al . Self-adaptive uncertainty economic dispatch based on deep reinforcement learning ［J］. Automation of Electric Power Systems ， 2020 ， 44 （ 9 ）： 33 - 46 .

杜明秋，李妍，王标，等 . 电动汽车充电控制的深度增强学习优化方法［J］. 中国电机工程学报， 2019 ， 39 （ 14 ）： 4042 - 4049 .

DU Mingqiu ， LI Yan ， WANG Biao ， et al . Deep reinforcement learning optimization method for charging control of electric vehicles ［J］. Proceedings of the CSEE ， 2019 ， 39 （ 14 ）： 4042 - 4049 .

沈珺，柳伟，李虎成，等 . 基于强化学习的多微电网分布式二次优化控制［J］. 电力系统自动化， 2020 ， 44 （ 5 ）： 198 - 206 .

SHEN Jun ， LIU Wei ， LI Hucheng ， et al . Reinforcement learning based distributed secondary optimal control for multiple microgrids ［J］. Automation of Electric Power Systems ， 2020 ， 44 （ 5 ）： 198 - 206 .

徐春雷，周竞，余璟，等 . 基于强化学习模型的需求侧用户智能报价策略研究［J］. 智慧电力， 2018 ， 46 （ 10 ）： 32 - 37 .

XU Chunlei ， ZHOU Jing ， YU Jing ， et al . Research on demand side loads intelligent bidding strategy based on reinforcement learning model ［J］. Smart Power ， 2018 ， 46 （ 10 ）： 32 - 37 .

TAO C ， SU W . Indirect customer-to-customer energy trading with reinforcement learning ［J］. IEEE Transactions on Smart Grid ， 2019 ， 10 （ 4 ）： 4338 - 4348 .

TAO C ， SU W . Local energy trading behavior modeling with deep reinforcement learning ［J］. IEEE Access ， 2018 ， 6 ： 62806 - 62814 .

ZHANG D ， HAN X ， DENG C . Review on the research and practice of deep learning and reinforcement learning in smart grids ［J］. CSEE Journal of Power and Energy Systems ， 2018 ， 4 （ 3 ）： 362 - 370 .

HUA H ， QIN Y ， HAO C ， et al . Optimal energy management strategies for energy internet via deep reinforcement learning approach ［J］. Applied energy ， 2019 ， 239 ： 598 - 609 .

曼昆 . 经济学原理：微观经济学分册［M］. 北京：北京大学出版社， 2015 .

MANKIW N G . Principles of economics： microeconomics ［M］. Beijing ： Peking University Press ， 2015 .

LIU N ， YU X ， WANG C ， et al . Energy-sharing model with price-based demand response for microgrids of peer-to-peer prosumers ［J］. IEEE Transactions on Power Systems ， 2017 ， 32 （ 5 ）： 3569 - 3583 .

LONG C ， WU J Z ， ZHOU Y ， et al . Peer-to-peer energy sharing through a two-stage aggregated battery control in a community microgrid ［J］. Applied Energy ， 2018 ， 226 ： 261 - 276 .

许培，薛伟 . 基于Q-learning的一种多Agent系统结构模型［J］. 计算机与数字工程， 2011 （ 8 ）： 8 - 11 .

XU Pei ， XUE Wei . A structure model of multi-agent system based on Q-learning ［J］. Computer & Digital Engineering ， 2011 （ 8 ）： 8 - 11 .

郝然，艾芊，姜子卿 . 区域综合能源系统多主体非完全信息下的双层博弈策略［J］. 电力系统自动化， 2018 ， 42 （ 4 ）： 194 - 201 .

HAO Ran ， AI Qian ， JIANG Ziqing . Bi-level game strategy for multi-agent with incomplete information in regional integrated energy system ［J］. Automation of Electric Power Systems ， 2018 ， 42 （ 4 ）： 194 - 201 .

Views

下载量

CSCD

Alert me when the article has been cited

提交

Tools

Publicity Resources

Optimal Charging Strategies for Electric Vehicles Supporting Time-varying Demand Response Incentive Price

基于融合经验安全强化学习的配电网电压控制

Day-ahead Topology Optimization for Wind Farm Without Forecasting Based on Improved Deep Q Network

Related Author

HUANG Yu

ZHANG Xiaoxiao

YUE Dong

HU Songlin

WANG Juan

LI Zhukun

ZHENG Yingying

MIAO Xinyi

Related Institution

NARI Group Corporation (State Grid Electric Power Research Institute)

Institute of Advanced Technology for Carbon Neutrality, Nanjing University of Posts and Telecommunications

College of Information and Electrical Engineering, China Agricultural University

School of Electrical Engineering and Automation, Wuhan University

⁰