Learning Automata Based Bidding Strategy for Power Suppliers in Incomplete Information Environment

Qiangang JIA; Sijie CHEN; Yiyan LI; Zheng YAN; Chengke XU

doi:10.7500/AEPS20200701002

您当前的位置：

首页 >

文章列表页 >

Learning Automata Based Bidding Strategy for Power Suppliers in Incomplete Information Environment

Special Topic on Key Technologies for Construction and Operation of Electricity Spot Market | 更新时间：2025-06-16

- Learning Automata Based Bidding Strategy for Power Suppliers in Incomplete Information Environment
- Automation of Electric Power Systems Vol. 45, Issue 6, Pages: 133-139(2021)
- 作者机构：
  
  1.上海交通大学电子信息与电气工程学院，上海市 200240
  2.北卡罗来纳州立大学电子与计算机科学系，罗利市 27695，美国
- 作者简介：
- 基金信息：
  
  National Natural Science Foundation of China
- DOI：10.7500/AEPS20200701002
  CLC：
- Received：01 July 2020，
  
  Revised：2020-11-30，
  
  Published Online：30 January 2021，
  
  Published：25 March 2021
- 稿件说明：
移动端阅览
贾乾罡,陈思捷,李亦言等.有限信息环境下基于学习自动机的发电商竞价策略[J].电力系统自动化,2021,45(6):133-139.

JIA Qiangang,CHEN Sijie,LI Yiyan,et al.Learning Automata Based Bidding Strategy for Power Suppliers in Incomplete Information Environment[J].Automation of Electric Power Systems,2021,45(6):133-139.
贾乾罡,陈思捷,李亦言等.有限信息环境下基于学习自动机的发电商竞价策略[J].电力系统自动化,2021,45(6):133-139. DOI： 10.7500/AEPS20200701002.

JIA Qiangang,CHEN Sijie,LI Yiyan,et al.Learning Automata Based Bidding Strategy for Power Suppliers in Incomplete Information Environment[J].Automation of Electric Power Systems,2021,45(6):133-139. DOI： 10.7500/AEPS20200701002.

摘要

电力市场是典型的不完全竞争市场，发电商可以通过策略性报价以提高自身收益。现有的发电商报价策略研究通常假设发电商能利用充分的市场信息，但这种假设在市场启动初期往往不成立。为解决发电商在有限信息环境下的报价策略问题，文中提出了一种改进的强化学习自动机算法，该方法对外部信息量要求较低，且计算复杂度小，易于实现。此外，将发电商报价和市场出清的过程建模为重复博弈而非广泛使用的马尔可夫博弈，避免了马尔可夫博弈要求系统状态具有时间相关性这一强假设。最后，算例验证了该算法的有效性。

Abstract

The electricity market is a typical imperfectly competitive market where power suppliers can increase their profits through strategic bidding. Existing research on bidding strategies for power suppliers usually assumes that the power suppliers can use sufficient market information

which is often not true if the market is just launched. To solve the bidding problem of power suppliers in the incomplete information environment

this paper proposes an improved reinforcement learning automata algorithm. This method requires little external information

and is easy to implement. In addition

this paper models the process of power supplier bidding and market clearing as a repeated game rather than the widely used Markov game

which avoids the strong assumption that Markov game requires time correlation between system states. Finally

the example result verifies the effectiveness of the proposed algorithm.

关键词

Keywords

references

赵洱岽，王浩，林弘杨 . 现货市场中基于演化博弈的火电企业阶梯报价策略［J］. 电力建设， 2020 ， 41 （ 8 ）： 68 - 77 .

ZHAO Erdong ， WANG Hao ， LIN Hongyang . Research on ladder bidding strategy of thermal power enterprises according to evolutionary game in spot market ［J］. Electric Power Construction ， 2020 ， 41 （ 8 ）： 68 - 77 .

姚子麟，张亮，邹斌，等 . 含高比例风电的电力市场电价预测［J］. 电力系统自动化， 2020 ， 44 （ 12 ）： 49 - 56 .

YAO Zilin ， ZHANG Liang ， ZOU Bin ， et al . Electricity price prediction for electricity market with high proportion of wind power ［J］. Automation of Electric Power Systems ， 2020 ， 44 （ 12 ）： 49 - 56 .

蒋玮，吴杰，冯伟，等 . 日前电力市场不完全信息条件下的电力供需双边博弈模型［J］. 电力系统自动化， 2019 ， 43 （ 2 ）： 18 - 24 .

JIANG Wei ， WU Jie ， FENG Wei ， et al . Bilateral game model of power supply and demand sides with incomplete information in day-ahead electricity market ［J］. Automation of Electric Power Systems ， 2019 ， 43 （ 2 ）： 18 - 24 .

LI Song ， WANG Peng ， GOEL L . A novel Wavelet-based ensemble method for short-term load forecasting with hybrid neural networks and feature selection ［J］. IEEE Transactions on Power Systems ， 2016 ， 31 （ 3 ）： 1788 - 1798 .

HOBBS B F ， METZLER C B ， PANG J S . Strategic gaming analysis for electric power systems： an MPEC approach ［J］. IEEE Transactions on Power Systems ， 2000 ， 15 （ 2 ）： 638 - 645 .

程基峰，贠靖洋，严正，等 . 富余风电参与调峰权交易的电力市场均衡分析［J］. 电网技术， 2019 ， 43 （ 8 ）： 2702 - 2710 .

CHENG Jifeng ， YUN Jingyang ， YAN Zheng ， et al . Equilibrium analysis of peak regulation right trading market between wind farms and thermal power plants considering deep peak regulation ［J］. Power System Technology ， 2019 ， 43 （ 8 ）： 2702 - 2710 .

KIANNEJAD M ， SALEHIZADEH M R ， OLOOMI-BUYGI M ， et al . Artificial neural network approach for revealing market competitors’ behaviour ［J］. IET Generation ， Transmission & Distribution ， 2020 ， 14 （ 7 ）： 1292 - 1297 .

罗可，赵志学，童小娇 . 带条件风险约束的发电商最优投标模型及计算［J］. 湖南大学学报（自然科学版）， 2010 ， 37 （ 9 ）： 54 - 59 .

LUO Ke ， ZHAO Zhixue ， TONG Xiaojiao . Based on risk constraints of the bidding strategy model and computation for generating company ［J］. Journal of Hunan University （Natural Sciences）， 2010 ， 37 （ 9 ）： 54 - 59 .

杨挺，赵黎媛，王成山 . 人工智能在电力系统及综合能源系统中的应用综述［J］. 电力系统自动化， 2019 ， 43 （ 1 ）： 2 - 14 .

YANG Ting ， ZHAO Liyuan ， WANG Chengshan . Review on application of artificial intelligence in power system and integrated energy system ［J］. Automation of Electric Power Systems ， 2019 ， 43 （ 1 ）： 2 - 14 .

刘洪，李吉峰，葛少云，等 . 基于多主体博弈与强化学习的并网型综合能源微网协调调度［J］. 电力系统自动化， 2019 ， 43 （ 1 ）： 40 - 48 .

LIU Hong ， LI Jifeng ， GE Shaoyun ， et al . Coordinated scheduling of grid-connected integrated energy microgrid based on multi-agent game and reinforcement learning ［J］. Automation of Electric Power Systems ， 2019 ， 43 （ 1 ）： 40 - 48 .

YU N ， LIU C C ， TESFATSION L . Modeling of suppliers’ learning behaviors in an electricity market environment ［C］// International Conference on Intelligent Systems Applications to Power Systems ， November 5 - 8 ， 2007 ， Toki Messe， Japan： 5 - 8 .

KEBRIAEI H ， RAHIMI-KIAN A ， NILI AHMADABADI M . Model-based and learning-based decision making in incomplete information Cournot games： a state estimation approach ［J］. IEEE Transactions on Systems ， Man ， and Cybernetics： Systems ， 2015 ， 45 （ 4 ）： 713 - 718 .

YE Yujian ， QIU Dawei ， SUN Mingyang ， et al . Deep reinforcement learning for strategic bidding in electricity markets ［J］. IEEE Transaction on Smart Grid ， 2020 ， 11 （ 2 ）： 1343 - 1355 .

XU Hanchen ， SUN Hongbo ， NIKOVSKI D ， et al . Deep reinforcement learning for joint bidding and pricing of load serving entity ［J］. IEEE Transaction on Smart Grid ， 2019 ， 10 （ 6 ）： 6366 - 6375 .

HAKAMI V ， DEHGHAN M . Learning stationary correlated equilibria in constrained general-sum stochastic games ［J］. IEEE Transactions on Cybernetics ， 2016 ， 46 （ 7 ）： 1640 - 1654 .

李鹏，王子轩，侯磊，等 . 基于重复博弈的区域综合能源系统优化运行分析［J］. 电力系统自动化， 2019 ， 43 （ 14 ）： 81 - 93 .

LI Peng ， WANG Zixuan ， HOU Lei ， et al . Analysis of repeated game based optimal operation for regional integrated energy system ［J］. Automation of Electric Power Systems ， 2019 ， 43 （ 14 ）： 81 - 93 .

谢畅 . 基于供给函数模型的电力主能量及辅助服务市场竞价均衡分析［D］. 南京：东南大学， 2018 .

XIE Chang . Analysis of bidding equilibrium of energy and ancillary service based on supply function model ［D］. Nanjing ： Southeast University ， 2018 .

DEHGHANPOUR K ， NEHRIR M H ， SHEPPARD J W . Agent-based modeling in electrical energy markets using dynamic bayesian networks ［J］. IEEE Transactions on Power Systems ， 2016 ， 31 （ 6 ）： 4744 - 4754 .

袁智强，侯志俭，宋依群，等 . 考虑输电约束古诺模型的均衡分析［J］. 中国电机工程学报， 2004 ， 24 （ 6 ）： 77 - 83 .

YUAN Zhiqiang ， HOU Zhijian ， SONG Yiqun ， et al . Analysis of equilibrium of Cournot model with considering transmission constraints ［J］. Proceedings of the CSEE ， 2004 ， 24 （ 6 ）： 77 - 83 .

王永强 . 基于最优潮流的节点电价计算法研究［D］. 上海：上海交通大学， 2007 .

WANG Yongqiang . The calculation of nodal price based on optimal power flow ［D］. Shanghai ： Shanghai Jiao Tong University ， 2007 .

刘畅，冯冬涵，方陈 . 实时市场中电价多解的判定机理［J］. 电力系统自动化， 2020 ， 44 （ 1 ）： 43 - 52 .

LIU Chang ， FENG Donghan ， FANG Chen . Judgment mechanism of multiple solutions for electricity price in real-time market ［J］. Automation of Electric Power Systems ， 2020 ， 44 （ 1 ）： 43 - 52 .

HOWELL M N ， FROST G P ， GORDON T J ， et al . Continuous action reinforcement learning applied to vehicle suspension control ［J］. Mechatronics ， 1997 ， 7 （ 3 ）： 263 - 276 .

刘晓，毛宁 . 一种新的连续动作集学习自动机［J］. 数据采集与处理， 2015 ， 30 （ 6 ）： 1310 - 1317 .

LIU Xiao ， MAO Ning . New continuous action-set learning automata ［J］. Journal of Data Acquisition & Processing ， 2015 ， 30 （ 6 ）： 1310 - 1317 .

谷学静，张明儒，王志良，等 . 基于CARLA-PSO组合模型的智能控制器参数学习优化［J］. 计算机应用研究， 2019 ， 36 （ 3 ）： 44 - 47 .

GU Xuejing ， ZHANG Mingru ， WANG Zhiliang ， et al . Parameter leaning optimization of intelligent controller based on CARLA-PSO composite model ［J］. Application Research of Computers ， 2019 ， 36 （ 3 ）： 44 - 47 .

蒋诗泉，刘思峰，周兴才 . 基于复化梯形公式的GM（1，1）模型背景值的优化［J］. 控制与决策， 2014 （ 12 ）： 2221 - 2225 .

JIANG Shiquan ， LIU Sifeng ， ZHOU Xingcai . Optimization of background value in GM（1，1） based on compound trapezoid formula ［J］. Control and Decision ， 2014 （ 12 ）： 2221 - 2225 .

SCHWARTZ H M . Multi-agent machine：a reinforcement learning approach ［M］. Hoboken， USA ： John Wiley & Sons ， 2014 .

TAO Li ， SHAHIDEHPOUR M . Strategic bidding of transmission-constrained GENCOs with incomplete information ［J］. IEEE Transactions on Power Systems ， 2005 ， 20 （ 1 ）： 437 - 447 .

Views

下载量

CSCD

Alert me when the article has been cited

提交

Tools

Publicity Resources

Calculation Model of Cross-zonal Medium- and Long-term Net Available Transfer Capability for Maximizing Social Welfare

Monitoring and Analysis Methods for Excess Revenue of Power Generation Entities

Stochastic Evolutionary Game of Capacity Trading for Wind-Photovoltaic-Pumped Storage in Auxiliary Service Market

Related Author

SHI Zhihao

YANG Zaimin

SUN Siyang

ZHENG Xiangming

XIAO Jucheng

FAN Shuai

HE Guangyu

WU Weimin

Related Institution

Key Laboratory of Control of Power Transmission and Conversion, Ministry of Education (Shanghai Jiao Tong University)

Shanghai Non-carbon Energy Conversion and Utilization Institute

Energy Development Research Institute of China Southern Power Grid Co., Ltd.

China Southern Power Grid Co., Ltd.

College of Business, Hunan University of Technology

⁰