基于双池DQN的HVAC无模型优化控制方法

doi:10.11959/j.issn.2096-6652.202208

智能科学与技术学报 ›› 2022, Vol. 4 ›› Issue (3): 426-444.doi: 10.11959/j.issn.2096-6652.202208

基于双池DQN的HVAC无模型优化控制方法

马帅¹^,²^,³, 傅启明¹^,²^,³, 陈建平¹^,²^,³, 冯帆⁴, 陆悠¹^,²^,³, 李铮伟⁵^,⁶, 裘舒年⁵^,⁶

¹ 苏州科技大学电子与信息工程学院，江苏苏州 215009
² 江苏省智慧建筑节能重点实验室，江苏苏州 215009
³ 苏州移动网络及应用技术重点实验室，江苏苏州 215009
⁴ 德州农工大学，美国得克萨斯州，TX 77843
⁵ 同济大学机械与能源学院，上海 200092
⁶ 同济大学工程结构性能演化与控制教育部重点实验室，上海 200092

修回日期:2021-08-28 出版日期:2022-09-15 发布日期:2022-09-01
作者简介:马帅（1997- ），男，苏州科技大学电子与信息工程学院硕士生，主要研究方向为强化学习在智慧建筑中的应用
傅启明（1985- ），男，博士，苏州科技大学电子与信息工程学院副教授，主要研究方向为强化学习、深度学习和建筑节能
陈建平（1963- ），男，博士，苏州科技大学电子与信息工程学院教授，研究方向为大数据分析、建筑节能和智能信息
冯帆（1993- ），男，德州农工大学博士生，主要研究方向为HVAC优化控制
陆悠（1977- ），男，博士，苏州科技大学电子与信息工程学院副教授，主要研究方向为下一代网络、网路管理和机器学习
李铮伟（1981- ），男，博士，同济大学机械与能源学院教授，主要研究方向为建筑能源系统的优化运行及故障诊断等
裘舒年（1995- ），男，同济大学机械与能源学院博士生，主要研究方向为强化学习在HVAC中的应用
基金资助:
国家重点研发计划基金资助项目(2020YFC2006602);国家自然科学基金资助项目(62072324);国家自然科学基金资助项目(61876217);国家自然科学基金资助项目(61876121);国家自然科学基金资助项目(61772357);江苏省重点研发计划基金资助项目(BE2020026)

HVAC model-free optimal control method based on double-pools DQN

Shuai MA¹^,²^,³, Qiming FU¹^,²^,³, Jianping CHEN¹^,²^,³, Fan FENG⁴, You LU¹^,²^,³, Zhengwei LI⁵^,⁶, Shunian QIU⁵^,⁶

¹ School of Electronics ＆Information Engineering, Suzhou University of Science and Technology, Suzhou 215009, China
² Jiangsu Province Key Laboratory Intelligent Building Energy Efficiency,Suzhou University of Science and Technology, Suzhou 215009, China
³ Suzhou Key Laboratory of Mobile Networking and Applied Technology, Suzhou 215009, China
⁴ Texas A＆M University, College Station TX 77843, USA
⁵ School of Mechanical Engineering, Tongji University, Shanghai 200092, China
⁶ Key Laboratory of Performance Evolution and Control for Engineering Structures of Ministry of Education, Tongji University, Shanghai 200092, China

Revised:2021-08-28 Online:2022-09-15 Published:2022-09-01
Supported by:
The National Key Research and Development Program of China(2020YFC2006602);The National Natural Science Foundation of China(62072324);The National Natural Science Foundation of China(61876217);The National Natural Science Foundation of China(61876121);The National Natural Science Foundation of China(61772357);The Research and Development Program of Jiangsu Province(BE2020026)

摘要/Abstract

摘要：

在 HVAC 控制领域，基于模型的最优控制方法得到了学者的广泛研究与验证，但是该方法高度依赖模型的准确性、大量历史数据的收集以及传感器的部署。针对上述问题，结合 EnergyPlus、实际系统参数以及历史数据，构建 HVAC 优化控制模型，并提出一种改进的双池 DQN 算法，最后将其应用于 HVAC 系统中不同型号冷机的负荷分配、冷却塔风机频率以及冷却水泵频率的组合优化控制。基于所构建的问题模型，针对决策优化过程中存在的样本不平衡的问题，该算法在 DQN 的基础上，建立两个独立的经验池，分别存储负荷分配与非负荷分配样本，在训练过程中，遵循一定的比例从经验池中进行采样，以加快算法收敛。将所提出的方法与基于模型的控制方法及基线方法进行比较，实验结果表明，与基线方法相比，基于模型的HVAC控制器能够节能11.5% （最优节能效率），而基于双池DQN的HVAC控制器在第1年就能够节能7.5%，同时，随着系统运行，该控制器在第8年左右即可获得接近最优节能效率的结果。此外，与基于模型的HVAC控制器相比，该控制器不依赖于系统模型，且在在线控制过程中，所需的先验知识及传感器较少，在实际的工程应用中更具价值。

关键词: 深度强化学习, 无模型优化控制, HVAC系统, 建筑节能

Abstract:

In the field of HVAC (heating, ventilation and air conditioning) control, the model-based optimal control method has been extensively studied and verified by scholars, but this method highly depends on the accuracy of the model, the collection of a large amount of historical data, and the deployment of sensors.In response to the above problems,combined with EnergyPlus, actual system parameters and historical data, the HVAC optimized control model was constructed, and an improved double pools-based DQN (DPs-DQN) algorithm was proposed.Finally, it was applied to the load distribution of different types of chillers, the combined optimal control of cooling tower fan frequency and cooling water pump frequency in HVAC system.Based on the constructed problem model, aiming at the problem of sample imbalance in the decision-making optimization process, the algorithm established two independent experience pools on the basis of DQN to store load distribution and non load distribution samples respectively.During the training process, followed a certain ratio to sample from the experience pool to speed up the algorithm convergence.The proposed method was compared with the model-based control method and the baseline method.The experimental results show that compared with the baseline method, the model-based HVAC controller can save 11.5% (optimal energy-saving efficiency), while the DPs-DQN can save energy by 7.5% in the first year.At the same time, as the system runs, the controller can obtain results close to the optimal energy saving efficiency in the eighth year.In addition, compared with the model-based HVAC controller, the controller does not depend on the system model, and requires less prior knowledge and sensors in the online control process, which is more valuable in actual engineering applications.

Key words: deep reinforcement learning, model-free optimal control, HVAC system, building energy saving

中图分类号:

TP273

马帅, 傅启明, 陈建平, 等. 基于双池DQN的HVAC无模型优化控制方法[J]. 智能科学与技术学报, 2022, 4(3): 426-444.

Shuai MA, Qiming FU, Jianping CHEN, et al. HVAC model-free optimal control method based on double-pools DQN[J]. Chinese Journal of Intelligent Science and Technology, 2022, 4(3): 426-444.

图/表 21

图1

表1

图2

图3

图4

表2

表3

表4

图5

表5

图6

图7

图8

图9

图10

图11

图12

表6

年度能耗"

方法	冷却水泵（大）/kWh	冷却塔（大）/kWh	冷却水泵（小）/kWh	冷却塔（小）/kWh	大冷机/kWh	小冷机/kWh	冷机能耗和/kWh	总能耗/kWh
baseline	64 908.01647	25 587.13833	31 078.15252	12 251.1984	611 127.2573	167 894.455	779 021.7	912 846.2
model_based	23 377.99124	7 907.06462	10 733.4084	3 138.543602	616 325.6191	145 865.508	762 191.1	807 348.1
DPs-DQN_第1年	33655.12816	13 027.18418	15 703.50809	6 114.719079	603 065.8731	172 638.5861	775 704.5	844 205.0
DPs-DQN_第2年	30 354.49095	12 298.02102	13 562.82658	5 219.839276	614 923.3224	153 671.347	768 594.7	830 029.8
DPs-DQN_第3年	28 842.43923	12 093.44981	12 860.63961	5 191.032207	618 803.9614	146 572.312	765 376.3	824 363.8
DPs-DQN_第4年	27 193.99196	11 220.04437	12 259.24104	5 017.730849	620 979.4015	143 765.5538	764 745.0	820 436.0
DPs-DQN_第5年	26 677.9163	11 320.42568	12 335.2977	5 140.941364	619 248.5502	145 726.6786	764 975.2	820 449.8
DPs-DQN_第6年	27 151.13763	11 732.73569	12 718.44811	5 239.95047	619 721.4394	144 886.1188	764 607.6	821 449.8
DPs-DQN_第7年	26 080.31963	10 901.35292	11 992.71584	4 506.80003	619 883.6275	144 882.4102	764 766.0	818 247.2
DPs-DQN_第8年	24 783.19592	9 404.312392	11 764.99045	4 000.551805	621 846.8614	142 298.1062	764 145.0	814 098.0
DPs-DQN_第9年	23 424.53443	8 122.959886	10 991.93368	3 640.873975	622 796.631	141 457.2419	764 253.9	810 434.2
DPs-DQN_第10年	23 527.48478	8 472.471621	11 063.05897	3 926.412888	622 494.1131	141 424.745	763 918.9	810 908.3
DPs-DQN_第11年	23 232.457	9 605.28206	11 015.67236	3 905.091689	621 612.5477	141 355.1308	762 967.7	810 726.2
DPs-DQN_第12年	24 146.31587	8 757.547623	11 160.67447	3 754.003801	621 371.5256	141 156.9539	762 528.5	810 347.0
DPs-DQN_第13年	23 514.53632	7 960.616987	11 126.74509	3 585.772903	622 803.198	141 377.8823	764 181.1	810 368.8
DPs-DQN_第14年	23 880.84119	8 901.725799	11 246.87424	3 786.493418	621 172.3233	141 200.1382	762 372.5	810 188.4
DPs-DQN_第15年	23 561.9639	8 645.72904	11 052.77735	3 844.50329	621 676.7996	141 117.5224	762 794.3	809 899.3
DPs-DQN_第16年	23 269.04265	8 487.371801	11 047.49848	3 798.053333	622 130.8019	141 782.3786	763 913.2	810 515.1
DPs-DQN_第17年	24 108.61137	8 110.85739	11 207.49851	3 636.430704	621 415.1327	141 520.7743	762 935.9	809 999.3
DPs-DQN_第18年	23 045.32234	7 956.261497	10 913.77962	3 612.96288	623 052.1172	141 519.1315	764 571.2	810 099.6
DPs-DQN_第19年	23 208.17606	8 183.664655	10 971.49878	3 539.736593	622 153.3032	141 358.4312	763 511.7	809 414.8
DPs-DQN_第20年	24 227.18333	7 564.407838	11 196.99755	3 473.707856	622 159.0155	141 306.4567	763 465.5	809 927.8

表6

图13

图14

图15

参考文献 27

[1]	PéREZ-LOMBARD L , ORTIZ J , POUT C . A review on buildings energy consumption information[J]. Energy and Buildings, 2008,40(3): 394-398.
[2]	WANG J Q , HUANG J J , FENG Z B ,et al. Occupant-density- detection based energy efficient ventilation system:prevention of infection transmission[J]. Energy and Buildings, 2021,240:110883.
[3]	HOU J , XU P , LU X ,et al. Implementation of expansion planning in existing district energy system:a case study in China[J]. Applied Energy, 2018,211: 269-281.
[4]	PANG Z H , O’NEILL Z , LI Y F ,et al. The role of sensitivity analysis in the building performance analysis:a critical review[J]. Energy and Buildings, 2020,209:109659.
[5]	WANG J Q , HOU J , CHEN J P ,et al. Data mining approach for improving the optimal control of HVAC systems:an event-driven strategy[J]. Journal of Building Engineering, 2021,39:102246.
[6]	MA Z J , WANG S W . Online fault detection and robust control of condenser cooling water systems in building central chiller plants[J]. Energy and Buildings, 2011,43(1): 153-165.
[7]	YAO Y , LIAN Z W , HOU Z J ,et al. Optimal operation of a large cooling system based on an empirical model[J]. Applied Thermal Engineering, 2004,24(16): 2303-2321.
[8]	HUANG S , ZUO W D , SOHN M D . Improved cooling tower control of legacy chiller plants by optimizing the condenser water set point[J]. Building and Environment, 2017,111: 33-46.
[9]	ZHU N , SHAN K , WANG S W ,et al. An optimal control strategy with enhanced robustness for air-conditioning systems considering model and measurement uncertainties[J]. Energy and Buildings, 2013,67: 540-550.
[10]	SUN Y J , WANG S W , HUANG G S . Chiller sequencing control with enhanced robustness for energy efficient operation[J]. Energy and Buildings, 2009,41(11): 1246-1255.
[11]	LI Z W , HUANG G S , SUN Y J . Stochastic chiller sequencing control[J]. Energy and Buildings, 2014,84: 203-213.
[12]	QIU S N , LI Z H , LI Z W ,et al. Model-free control method based on reinforcement learning for building cooling water systems:validation by measured data-based simulation[J]. Energy and Buildings, 2020,218:110055.
[13]	BAGHAEE S , ULUSOY I . User comfort and energy efficiency in HVAC systems by Q-learning[C]// Proceedings of 2018 26th Signal Processing and Communications Applications Conference. Piscataway:IEEE Press, 2018: 1-4.
[14]	FADDEL S , TIAN G Y , ZHOU Q ,et al. Data driven Q-learning for commercial HVAC control[C]// Proceedings of IEEE Southeast Con 2020. Piscataway:IEEE Press, 2020: 1-6.
[15]	刘朝阳, 穆朝絮, 孙长银 . 深度强化学习算法与应用研究现状综述[J]. 智能科学与技术学报, 2020,2(4): 314-326.
	LIU Z Y , MU C X , SUN C Y . An overview on algorithms and applications of deep reinforcement learning[J]. Chinese Journal of Intelligent Science and Technology, 2020,2(4): 314-326.
[16]	刘莹莹, 王占山 . 异构多智能体系统的输出同步:一个基于数据的强化学习方法[J]. 智能科学与技术学报, 2020,2(4): 394-400.
	LIU Y Y , WANG Z S . Output synchronization of heterogeneous multi-agent system:a reinforcement learning approach based on data[J]. Chinese Journal of Intelligent Science and Technology, 2020,2(4): 394-400.
[17]	MNIH V , KAVUKCUOGLU K , SILVER D ,et al. Human-level control through deep reinforcement learning[J]. Nature, 2015,518(7540): 529-533.
[18]	AHN K U , PARK C S . Application of deep Q-networks for model-free optimal control balancing between different HVAC systems[J]. Science and Technology for the Built Environment, 2020,26(1): 61-74.
[19]	CHANG Y C . A novel energy conse11rvation method—optimal chiller loading[J]. Electric Power Systems Research, 2004,69(2/3): 221-226.
[20]	LIAO Y D , SUN Y J , HUANG G S . Robustness analysis of chiller sequencing control[J]. Energy Conversion and Management, 2015,103: 180-190.
[21]	ARDAKANI A J , ARDAKANI F F , HOSSEINIAN S H . A novel approach for optimal chiller loading using particle swarm optimization[J]. Energy and Buildings, 2008,40(12): 2177-2187.
[22]	CHANG Y C , LIN J K , CHUANG M H . Optimal chiller loading by genetic algorithm for reducing energy consumption[J]. Energy and Buildings, 2005,37(2): 147-155.
[23]	LEE W S , LIN L C . Optimal chiller loading by particle swarm algorithm for reducing energy consumption[J]. Applied Thermal Engineering, 2009,29(8/9): 1730-1734.
[24]	QIU S N , LI Z H , LI Z W ,et al. Model-free optimal chiller loading method based on Q-learning[J]. Science and Technology for the Built Environment, 2020,26(8): 1100-1116.
[25]	CRAWLEY D B , LAWRIE L K , WINKELMANN F C ,et al. EnergyPlus:creating a new-generation building energy simulation program[J]. Energy and Buildings, 2001,33(4): 319-331.
[26]	ZHU D D , HONG T Z , YAN D ,et al. A detailed loads comparison of three building energy modeling programs:EnergyPlus,DeST and DOE-2.1E[J]. Building Simulation, 2013,6(3): 323-335.
[27]	BENTON D J , BOWMAN C F , HYDEMAN M ,et al. An improved cooling tower algorithm for the CooiTools^TMsimulation model[C]// Proceedings of ASHRAE Annual Meeting.[S.l.:s.n.], 1999.

设备	数量	名义参数
冷机	2台大冷机	大冷机：功率504 kW，制冷能力2 810 kW，冷冻水出水温度6℃，冷冻水回水温度12℃
	1台小冷机	小冷机：功率314 kW，制冷能力1 760 kW，冷冻水出水温度6℃，冷冻水回水温度12℃
冷冻水泵	2台大型冷冻水泵	大型冷冻水泵：功率30 kW，水流量403 m ³/h ，扬程19 m，恒速
	1台小型冷冻水泵	小型冷冻水泵：功率15 kW，水流量252 m³/h，扬程15 m，恒速
冷却水泵	3台大冷却水泵	大冷却水泵：功率75 kW，水流量581 m³/h
冷却塔	3台大冷却塔	大冷却塔：功率30 kW，水流量569 m³/h

独立变量限制	值
输入最小室外湿球温度/℃	-1
输入最大室外湿球温度/℃	26.7
冷却塔温度范围最小值/℃	1.1
冷却塔温度范围最大值/℃	11.1
冷却塔临近温度最小值/℃	1.1
冷却塔临近温度最大值/℃	11.1
最小冷却水流量比	0.75
最大冷却水流量比	1.25

系数	大冷机1# 和大冷机2#			小冷机3#
	DOE-2.1 generic centrifugal chiller（行号：11 170）			York VSD centrifugal chiller（行号：5 684）
	ChillerCapFTemp	ChillerEIRFTemp	ChillerEIRFPLR	ChillerCapFTemp	ChillerEIRFTemp	ChillerEIRFPLR
b1、d1、g1	0.257896	0.933884	0.222903	0.4575085	0.6794525	0.07859908
b2、d2、g2	0.0389016	-0.058212	0.313387	0.1313508	0.06694756	0.1950291
b3、d3、g3	-0.00021708	0.00450036	0.463710	-0.004408831	-0.003625396	0.7241581
b4、d4	0.0468684	0.00243	—	0.01930354	-0.01018762	—
b5、d5	-0.00094284	0.000486	—	-0.0005479641	0.001066394	—
b6、d6	-0.00034344	-0.001215	—	-0.001376580	-0.00211342	—
注：根据EnergyPlus V9.2 Engineering reference.pdf和Datasets/Chillers.idf

系数序号	系数值	系数序号	系数值	系数序号	系数值
Coeff(1)	0.52049709836241	Coeff(2)	-10.617046395344	Coeff(3)	10.7292974722538
Coeff(4)	-2.74988377158227	Coeff(5)	4.73629943913743	Coeff(6)	-8.25759700874711
Coeff(7)	1.57640938114136	Coeff(8)	6.51119643791324	Coeff(9)	1.50433525206692
Coeff(10)	-3.2888529287801	Coeff(11)	0.0257786145353773	Coeff(12)	0.182464289315254
Coeff(13)	-0.0818947291400898	Coeff(14)	-0.215010003996285	Coeff(15)	0.0186741309635284
Coeff(16)	0.0536824177590012	Coeff(17)	-0.00270968955115031	Coeff(18)	0.00112277498589279
Coeff(19)	-0.00127758497497718	Coeff(20)	0.0000760420796601607	Coeff(21)	1.43600088336017
Coeff(22)	-0.5198695909109	Coeff(23)	0.117339576910507	Coeff(24)	1.50492810819924
Coeff(25)	-0.135898905926974	Coeff(26)	-0.152577581866506	Coeff(27)	-0.0533843828114562
Coeff(28)	0.00493294869565511	Coeff(29)	-0.00796260394174197	Coeff(30)	0.000222619828621544
Coeff(31)	-0.0543952001568055	Coeff(32)	0.00474266879161693	Coeff(33)	-0.0185854671815598
Coeff(34)	0.00115667701293848	Coeff(35)	0.000807370664460284

年	第1轮	第2轮	第3轮	第4轮	第5轮	平均奖赏
第1年	10 349.89	10 357.77	10 387.58	10 363.52	10 366.72	10 365.1
第2年	10 535.55	10 509.10	10 513.19	10 500.12	10 496.02	105 10.80
第3年	10 597.68	10 559.71	10 582.77	10 570.67	10 577.30	10 577.63
第4年	10 601.53	10 613.87	10 613.42	10 608.57	10 616.41	10 610.76
第5年	10 600.53	10 606.80	10 589.93	10 625.97	10 610.18	10 606.68
第6年	10 652.15	10 603.44	10 628.59	10 625.11	10 622.89	10 626.44
第7年	10 747.57	10 638.37	10 599.96	10 625.98	10 638.49	10 650.07
第8年	10 745.00	10 700.56	10 605.54	10 695.93	10 619.20	10 673.25
第9年	10 757.94	10 744.98	10 718.23	10 736.72	10 680.65	10 727.70
第10年	10 752.87	10 734.93	10 742.69	10 746.35	10 752.39	10 745.85
第11年	10 762.14	10 738.32	10 744.64	10 744.21	10 754.14	10 748.69
第12年	10 769.02	10 744.01	10 762.12	10 733.01	10 750.21	10 751.67
第13年	10 756.92	10 744.24	10 747.26	10 748.52	10 756.01	10 750.59
第14年	10 772.67	10 743.76	10 764.79	10 760.99	10 760.07	10 760.46
第15年	10 769.84	10 750.26	10 759.73	10 752.60	10 762.29	10 758.94
第16年	10 762.88	10 744.44	10 765.18	10 743.96	10 756.43	10 754.58
第17年	10 761.88	10 750.15	10 754.62	10 745.17	10 762.10	10 754.78
第18年	10 761.18	10 750.95	10 758.79	10 756.46	10 757.46	10 756.97
第19年	10 758.67	10 759.30	10 756.47	10 756.38	10 770.90	10 760.34
第20年	10 762.38	10 752.29	10 762.39	10 761.24	10 763.33	10 760.33

基于双池DQN的HVAC无模型优化控制方法

HVAC model-free optimal control method based on double-pools DQN

在线阅读

PDF下载

可视化

摘要/Abstract

引用本文

使用本文

图/表 21

参考文献 27

相关文章 9

Metrics

推荐阅读 0

[1]	孙宇祥, 彭益辉, 李斌, 周佳炜, 张鑫磊, 周献中. 智能博弈综述：游戏AI对作战推演的启示[J]. 智能科学与技术学报, 2022, 4(2): 157-173.
[2]	刘家成, 张向文. 基于TD3的电动汽车复合电源能量管理策略研究[J]. 智能科学与技术学报, 2022, 4(2): 277-287.
[3]	冯埔, 吴文峻, 罗杰, 于鑫, 田雍恺. 基于群体熵的机器人群体智能汇聚度量[J]. 智能科学与技术学报, 2022, 4(1): 65-74.
[4]	胡志强. 大数据智能指挥控制内在机理框架模型研究[J]. 智能科学与技术学报, 2021, 3(1): 101-109.
[5]	刘朝阳, 穆朝絮, 孙长银. 深度强化学习算法与应用研究现状综述[J]. 智能科学与技术学报, 2020, 2(4): 314-326.
[6]	李涛, 魏庆来. 基于深度强化学习的智能暖气温度控制系统[J]. 智能科学与技术学报, 2020, 2(4): 348-353.
[7]	王日中, 李慧平, 崔迪, 徐德民. 基于深度强化学习算法的自主式水下航行器深度控制[J]. 智能科学与技术学报, 2020, 2(4): 354-360.
[8]	傅汇乔, 唐开强, 邓归洲, 王鑫鹏, 陈春林. 基于深度强化学习的六足机器人运动规划[J]. 智能科学与技术学报, 2020, 2(4): 361-371.
[9]	沈宇,韩金朋,李灵犀,王飞跃. 游戏智能中的AI——从多角色博弈到平行博弈[J]. 智能科学与技术学报, 2020, 2(3): 205-213.