Non-cooperative Game Model of Prosumer P2P Electricity Trading Considering Markov Decision

ZHANG Shuai; PEI Wei; MA Tengfei; XIAO Hao; TANG Chenghong

doi:10.7500/AEPS20221018003

您当前的位置：

首页 >

文章列表页 >

Non-cooperative Game Model of Prosumer P2P Electricity Trading Considering Markov Decision

Key Technologies of Load Characteristic Modeling and Forecasting for Diverse Users | 更新时间：2025-06-16

- Non-cooperative Game Model of Prosumer P2P Electricity Trading Considering Markov Decision
- Automation of Electric Power Systems Vol. 47, Issue 13, Pages: 18-27(2023)
- 作者机构：
  
  1.中国科学院电工研究所，北京市 100190
  2.中国科学院大学电子电气与通信工程学院，北京市 100049
  3.南瑞集团有限公司（国网电力科学研究院有限公司），江苏省南京市 211106
- 作者简介：
- 基金信息：
  
  National Natural Science Foundation of China(U2066211;52177124;52107134)
- DOI：10.7500/AEPS20221018003
  CLC：
- Received：18 October 2022，
  
  Revised：2023-02-17，
  
  Published Online：05 June 2023，
  
  Published：10 July 2023
- 稿件说明：
移动端阅览
张帅,裴玮,马腾飞等.考虑马尔可夫决策的产消者P2P电能交易非合作博弈模型[J].电力系统自动化,2023,47(13):18-27.

ZHANG Shuai,PEI Wei,MA Tengfei,et al.Non-cooperative Game Model of Prosumer P2P Electricity Trading Considering Markov Decision[J].Automation of Electric Power Systems,2023,47(13):18-27.
张帅,裴玮,马腾飞等.考虑马尔可夫决策的产消者P2P电能交易非合作博弈模型[J].电力系统自动化,2023,47(13):18-27. DOI： 10.7500/AEPS20221018003.

ZHANG Shuai,PEI Wei,MA Tengfei,et al.Non-cooperative Game Model of Prosumer P2P Electricity Trading Considering Markov Decision[J].Automation of Electric Power Systems,2023,47(13):18-27. DOI： 10.7500/AEPS20221018003.

摘要

随着电力市场改革的推进和分布式能源在用户端的大规模发展，基于产消者端对端(P2P)的电能交易逐渐成为促进分布式能源消纳的重要解决方案。为解决产消者多阶段P2P电能交易中互动行为的强不确定性、状态转移概率不明晰等问题，提出了一种考虑Markov决策过程的产消者P2P电能交易非合作博弈模型。首先，引入可将用户行为聚合的Markov决策过程，解决了产消者由阶段性交易决策随机性导致的用电行为不确定性问题。其次，针对产消者在P2P电能交易市场中相互竞争的角色地位，建立了考虑Markov决策过程的非合作博弈模型，以产消者收益最大化为目标，结合需求响应计算P2P交易的最优电价。再次，在证明非合作博弈Nash均衡解存在的基础上，采用Nikaido-Isoda函数将博弈问题等效转化为全局最优问题，并采用分布式算法进行求解，获取最优Nash均衡解，保障产消者最大收益。最后，通过算例证明了所提方法的有效性与可行性。

Abstract

With the advancement of electricity market reform and the large-scale development of distributed energy at the user end

electricity trading based on prosumer peer-to-peer (P2P) has gradually become an important solution to promoting the consumption of distributed energy. To address the strong uncertainty of interactive behavior and unclear probability of state transition in multi-stage P2P electricity trading of prosumers

a non-cooperative game model of prosumer P2P electricity trading considering Markov decision process (MDP) is proposed. Firstly

a MDP that aggregates user behavior is introduced to solve the uncertainty problem of electricity consumption behavior caused by the randomness of stage trading decisions among prosumers. Secondly

in view of the competitive roles of prosumers in the P2P electricity trading market

a non-cooperative game model considering MDP is established to calculate the optimal price of P2P trading in combination with demand response with the goal of maximizing the profit of prosumers. Then

on the basis of proving the existence of Nash equilibrium solutions in non-ooperative games

the Nikaido-Isoda function is used to equivalently transform the game problem into a global optimal problem

and distributed algorithms are used to solve it to obtain the optimal Nash equilibrium solution

ensuring the maximum profit for prosumers. Finally

the effectiveness and feasibility of the proposed method are demonstrated through numerical examples

关键词

Keywords

references

张智刚，康重庆 . 碳中和目标下构建新型电力系统的挑战与展望［J］. 中国电机工程学报， 2022 ， 42 （ 8 ）： 2806 - 2819 .

ZHANG Zhigang ， KANG Chongqing . Challenges and prospects for constructing the new-type power system towards a carbon neutrality future ［J］. Proceedings of the CSEE ， 2022 ， 42 （ 8 ）： 2806 - 2819 .

中共中央国务院 . 关于进一步深化电力体改革的若干意见［EB/OL］.［ 2022-10-10 ］. http：//fjb.nea.gov.cn/pufa_view.aspx？id=314342015 http://fjb.nea.gov.cn/pufa_view.aspx?id=314342015 .

The Central Committee of the Communist Party of China and the State Council . Several opinions on further deepening the reform of the power system ［EB/OL］. ［ 2022-10-10 ］. http：//fjb.nea.gov.cn/pufa_view.aspx？id=314342015 http://fjb.nea.gov.cn/pufa_view.aspx?id=314342015 .

王丹，刘博，贾宏杰，等 . 基于强化学习的产消用户端对端电能交易决策［J］. 电力系统自动化， 2021 ， 45 （ 3 ）： 139 - 147 .

WANG Dan ， LIU Bo ， JIA Hongjie ， et al . Peer-to-peer energy transaction decision of prosumers based on reinforcement learning ［J］. Automation of Electric Power Systems ， 2021 ， 45 （ 3 ）： 139 - 147 .

TUSHAR W ， SAHA T K ， YUEN C ， et al . Peer-to-peer trading in electricity networks： an overview ［J］. IEEE Transactions on Smart Grid ， 2020 ， 11 （ 4 ）： 3185 - 3200 .

MORSTYN T ， MCCULLOCH M D . Multiclass energy management for peer-to-peer energy trading driven by prosumer preferences ［J］. IEEE Transactions on Power Systems ， 2019 ， 34 （ 5 ）： 4005 - 4014 .

KRISHNAN R ， SMITH M ， TELANG R . The economics of peer-to-peer networks ［J］. Journal of Information Technology Theory and Application ， 2003 ， 5 （ 3 ）： 31 - 44 ．

SUN L ， QIU J ， ZHANG W ， et al . Energy sharing strategy based on call auction trading： energy bank system ［J］. Electrical Power and Energy Systems ， 2020 ， 123 ： 1 - 9 .

ZHONG W F ， XIE K ， LIU Y ， et al . Multi-resource allocation of shared energy storage： a distributed combinatorial auction approach ［J］. IEEE Transactions on Smart Grid ， 2020 ， 11 （ 5 ）： 4105 - 4115 .

CHEN Yue . Optimal contracts of energy mix in a retail market under asymmetric information ［J］. Energy ， 2018 ， 165 ： 634 - 650 .

ZHANG B L ， JIANG C X ， YU J L ， et al . A contract game for direct energy trading in smart grid ［J］. IEEE Transactions on Smart Grid ， 2018 ， 9 （ 4 ）： 2873 - 2884 .

李刚，赵琳颖，关雪，等 . 基于博弈策略的能源区块链安全交易机制［J］. 电力建设， 2021 ， 42 （ 12 ）： 127 - 135 .

LI Gang ， ZHAO Linying ， GUAN Xue ， et al . Security transaction mechanism of energy blockchain applying game strategy ［J］. Electric Power Construction ， 2021 ， 42 （ 12 ）： 127 - 135 .

PENG Q ， WANG X L ， KUANG Y ， et al . Hybrid energy sharing mechanism for integrated energy systems based on the Stackelberg game ［J］. CSEE Journal of Power and Energy Systems ， 2021 ， 7 （ 5 ）： 911 - 921 .

CUI S C ， WANG Y W ， XIAO J W . Peer-to-peer energy sharing among smart energy buildings by distributed transaction ［J］. IEEE Transactions on Smart Grid ， 2019 ， 10 （ 6 ）： 6491 - 6501 .

马腾飞，裴玮，肖浩，等 . 基于纳什谈判理论的风-光-氢多主体能源系统合作运行方法［J］. 中国电机工程学报， 2021 ， 41 （ 1 ）： 25 - 39 .

MA Tengfei ， PEI Wei ， XIAO Hao ， et al . Cooperative operation method for wind-solar-hydrogen multi-agent energy system based on Nash bargaining theory ［J］. Proceedings of the CSEE ， 2021 ， 41 （ 1 ）： 25 - 39 .

PAUDEL A ， CHAUDHARI K ， LONG C ， et al . Peer-to-peer energy trading in a prosumer-based community microgrid： a game-theoretic model ［J］. IEEE Transactions on Industrial Electronics ， 2019 ， 66 （ 8 ）： 6087 - 6097 .

SAFDARIAN A ， DIVSHALI P H ， BARANAUSKAS M ， et al . Coalitional game theory based value sharing in energy communities ［J］. IEEE Access ， 2021 ， 9 ： 78266 - 78275 .

ANOH K ， MAHARJAN S ， IKPEHAI A ， et al . Energy peer-to-peer trading in virtual microgrids in smart grids： a game-theoretic approach ［J］. IEEE Transactions on Smart Grid ， 2020 ， 11 （ 2 ）： 1264 - 1275 .

帅轩越，马志程，王秀丽，等 . 基于主从博弈理论的共享储能与综合能源微网优化运行研究［J］. 电网技术， 2023 ， 47 （ 2 ）： 679 - 690 .

SHUAI Xuanyue ， MA Zhicheng ， WANG Xiuli ， et al . Optimal operation of shared energy storage and integrated energy microgrid based on leader-follower game theory ［J］. Power System Technology ， 2023 ， 47 （ 2 ）： 679 - 690 .

MAHARJAN S ， ZHU Q Y ， ZHANG Y ， et al . Dependable demand response management in the smart grid： a Stackelberg game approach ［J］. IEEE Transactions on Smart Grid ， 2013 ， 4 （ 1 ）： 120 - 132 .

CHEN L D ， LIU N ， LI C C ， et al . Peer-to-peer energy sharing with social attributes： a stochastic leader-follower game approach ［J］. IEEE Transactions on Industrial Informatics ， 2021 ， 17 （ 4 ）： 2545 - 2556 .

YOU Y ， LI Z X ， OECHTERING T J . Non-cooperative games for privacy-preserving and cost-efficient smart grid energy management ［J］. IEEE Transactions on Information Forensics and Security ， 2023 ， 18 ： 423 - 434 .

何俊强，师长立，韦统振 . 基于马尔可夫链的自适应储能需求功率预测模型［J］. 电工技术学报， 2021 ， 36 （增刊2 ）： 563 - 571 .

HE Junqiang ， SHI Changli ， WEI Tongzhen . Adaptive power demand prediction model of energy storage based on Markov chain ［J］. Transactions of China Electrotechnical Society ， 2021 ， 36 （ Supplement 2 ）： 563 - 571 .

方兆本，缪柏其 . 随机过程［M］. 3版 . 北京：科学出版社， 2011 .

FANG Zhaoben ， MIAO Bai|qi . Random process ［M］. 3rd ed . Beijing ： Science Press ， 2011 .

XU Z ， GUO Y ， SUN H B . Competitive pricing game of virtual power plants： models， strategies， and equilibria ［J］. IEEE Transactions on Smart Grid ， 2022 ， 13 （ 6 ）： 4583 - 4595 .

YANG J K ， TUSHAR W ， SAHA T K ， et al . Prosumer-driven voltage regulation via coordinated real and reactive power control ［J］. IEEE Transactions on Smart Grid ， 2022 ， 13 （ 2 ）： 1441 - 1452 .

Views

下载量

CSCD

Alert me when the article has been cited

提交

Tools

Publicity Resources

Non-cooperative Game Based Strategy for Energy-Intensive Industrial Load Participating in Peak-regulation Demand

Blockchain-based Multi-party Co-governance Transaction Mode for Load Aggregator and Residential Users

基于冷热电联供的多园区博弈优化策略

基于非合作博弈的居民负荷分层调度模型

Related Author

ZHANG Shuai

PEI Wei

MA Tengfei

XIAO Hao

TANG Chenghong

JIANG Tingyu

TAO Jinyu

WANG Ke

Related Institution

Institute of Electrical Engineering, Chinese Academy of Sciences

University of Chinese Academy of Sciences

NARI Group Corporation (State Grid Electric Power Research Institute)

College of Energy and Electrical Engineering, Hohai University

Marketing Service Center of State Grid Jiangsu Electric Power Co., Ltd.

⁰