智能科学与技术学报, 2020, 2(4): 401-411 doi: 10.11959/j.issn.2096-6652.202043

专刊:深度强化学习

无线网络信号传输建模:一种区间二型模糊集成深度学习方法

赵亮, 谢志峰, 张坤鹏, 郑玉卿, 付园坤

河南工业大学电气工程学院,河南 郑州 450001

Modeling signal propagation in wireless network:an interval type-2 fuzzy ensemble deep learning approach

ZHAO Liang, XIE Zhifeng, ZHANG Kunpeng, ZHENG Yuqing, FU Yuankun

College of Electrical Engineering, Henan University of Technology, Zhengzhou 450001, China

修回日期: 2020-11-30   网络出版日期: 2020-12-15

基金资助: 国家自然科学基金资助项目.  61105079
国家自然科学基金资助项目.  61473114
国家自然科学基金资助项目.  62002101
河南省自然科学基金资助项目.  162300410059
河南工业大学省属高校基本科研业务费专项资金资助项目.  2018RCJH16
河南工业大学高层次人才科研基金资助项目.  2019BS044

Revised: 2020-11-30   Online: 2020-12-15

Fund supported: The National Natural Science Foundation of China.  61105079
The National Natural Science Foundation of China.  61473114
The National Natural Science Foundation of China.  62002101
The Natural Science Foundation of Henan Province of China.  162300410059
Fundamental Research Funds for the Henan Provincial Col-leges and Universities in Henan University of Technology.  2018RCJH16
High-level Talent Research Fund of Henan University of Technology.  2019BS044

作者简介 About authors

赵亮(1978-),男,博士,河南工业大学电气工程学院副教授,主要研究方向为智能通信、智慧医疗、平行学习等。 。

谢志峰(1996-),男,河南工业大学电气工程学院硕士生,主要研究方向为深度学习、智能通信等。 。

张坤鹏(1987-),男,博士,河南工业大学电气工程学院讲师,主要研究方向为智能交通、智能通信等。 。

郑玉卿(1987-),男,博士,河南工业大学电气工程学院讲师,主要研究方向为智能通信、智能控制。 。

付园坤(1995-),男,河南工业大学电气工程学院硕士生,主要研究方向为智慧医疗、智能通信等。 。

摘要

针对常用的信号传输模型存在使用场景单一、预测精度不佳的问题,提出一种适用于多场景的数据驱动无线信号传输模型。首先根据先验知识从预处理后的数据构造初始特征,接着进行特征选择,以得到输入特征集合。然后分析建模需求,选择深度置信网络(DBN)、残差网络(ResNet)和堆叠自编码器(SAE)作为区间二型模糊规则的后件(个体深度学习器),经过区间二型模糊推理进行集成。最后采用5G网络信号传输实测数据,并进行实验验证。结果表明,3种个体深度学习器在测试集上的表现均优于Cost231-Hata模型和反向传播神经网络(BPNN)模型,其中ResNet的准确度高于DBN和SAE模型。区间二型模糊集成深度学习模型的性能与其个体深度学习器的性能以及模糊规则数目呈正相关,同时异质集成在测试集上的表现优于同质集成。

关键词: 信号传输模型 ; 特征工程 ; 区间二型模糊推理 ; 集成学习 ; 深度学习

Abstract

There exist some problems in the commonly used signal propagation models, such as single usage scenario and poor prediction accuracy.A data-driven wireless signal propagation model suitable for multiple scenarios was proposed.Firstly, the initial features were constructed from the preprocessed data according to the prior knowledge, and then the input feature set was obtained by using feature selection technique.Then analyzing the modeling requirements, selecting the deep belief network (DBN), residual network (ResNet) and stacked auto encoder (SAE) as the consequents (individual learners) of the interval type-2 fuzzy rules, and leveraged interval type-2 fuzzy inference to ensemble them.Finally, the actual measurement data of 5G signal propagation was applied for experimental verification.The results demonstrate that the performance of the three individual learners for the test set is better than those of the Cost231-Hata and back propagation neural network (BPNN), as well as the accuracy of ResNet is higher than those of DBN and SAE.Moreover, the performance of the interval type-2 fuzzy ensemble deep learning model is positively correlated with those of its individual learners and the number of fuzzy rules.Meanwhile, the heterogeneous ensemble is superior to the homogeneous counterpart for the test set.

Keywords: signal propagation model ; feature engineering ; interval type-2 fuzzy inference ; ensemble learning ; deep learning

PDF (5450KB) 元数据 多维度评价 相关文章 导出 EndNote| Ris| Bibtex  收藏本文

本文引用格式

赵亮, 谢志峰, 张坤鹏, 郑玉卿, 付园坤. 无线网络信号传输建模:一种区间二型模糊集成深度学习方法. 智能科学与技术学报[J], 2020, 2(4): 401-411 doi:10.11959/j.issn.2096-6652.202043

ZHAO Liang. Modeling signal propagation in wireless network:an interval type-2 fuzzy ensemble deep learning approach. Chinese Journal of Intelligent Science and Technology[J], 2020, 2(4): 401-411 doi:10.11959/j.issn.2096-6652.202043

1 引言

在精确部署无线通信网络的过程中,高效的网络估算具有重要意义[1,2]。而无线网络信号传输模型通过对目标通信覆盖区域内无线电波的传输特性进行预测(如传输过程中的路径损失或接收端平均信号功率等)达到估算小区覆盖范围、小区间网络干扰以及通信速率等指标的目的。在实际环境中,无线电波传输机制较为复杂,传输路径可能会受到山体、平原、海洋、建筑物等环境的影响,这导致电磁波不再以单一的方式和路径传输,而是会产生复杂的透射、绕射、反射、折射等[3],因此建立一个准确的无线网络信号传输模型是一项具有挑战性的任务[4]

按照研究方法进行划分,传统的无线网络信号传输模型可以分为统计模型、理论模型以及改进的统计模型。统计模型通过对某一区域进行实际测量,从测量数据中获取固定的拟合公式,并运用到实际信道传输环境中。典型的统计模型有Cost231Hata[5]、Okumura-Hata[6]等。统计模型参数相对较少、形式简洁,但其参数是从特定场景中提取出来的,其预测准确度受使用场景影响较大。理论模型是利用传输环境的具体地貌信息,根据电磁波或光学传输理论,考虑电磁波在空间的反射、绕射、折射等分析构建的无线网络信号传输模型。具有代表性的理论模型有 Volcano[7]、时域有限差分模型[8]等。这类模型提取信道环境中的地理特征,建筑类型、位置以及材料特性等详细信息,而不依赖于大量的实际测量数据,这决定了这类模型主要适用于室内等范围较小的无线网络信号传输建模。改进的统计模型融合统计模型与理论模型的优点,在拟合公式中引入更多场景参数,典型的改进的统计模型有标准传输模型[9]等。这类模型能够较好地符合实际场景,但同时受环境影响较大,对于不同环境需要重新获取实测数据,提取相应环境参数,给实际应用带来极大不便。

机器学习技术的兴起为无线网络信号传输建模提供了一种新的途径。机器学习是一类以数据样本为分析对象的计算机算法程序,已经在自然语言处理、图像分类、机器视觉等方面得到广泛应用。根据训练集是否拥有标注信息,可大致将机器学习划分为监督学习和无监督学习。无线网络信号传输模型的构建本质上是监督学习中的回归问题[10],因此可以使用相应算法[11]解决。Popescu I等人[12]采用多层感知机和广义径向基神经网络对室外环境的无线传输路径损耗进行预测,在理论模型和神经网络相结合的基础上,提出一种误差修正模型。实验结果表明,与传统模型相比,提出的模型能够容易地适应某些特定环境和复杂的传输条件,具有良好的预测精度,但是该模型需要大量先验知识对数据样本进行处理。Zhao X N等人[13]提出基于支持向量机的飞机客舱环境下的无线传输路径损失预测建模方法。利用舱内测量点的路径损耗数据进行训练,用于预测未测量点的路径损耗值。Zineb A B等人[14]考虑室内信号累计穿透损耗与穿透地板层数和墙数之间的非线性关系,提出一种新的人工神经网络模型,该模型适用于大尺度衰减的室内路径损耗预测。实验结果表明,提出的模型具有更高的相关系数。近年来,深度学习在大数据建模方面表现出比传统机器学习更加优良的性能,因此,采用深度学习构建无线网络信号传输模型成为研究的热点。Herath J D等人[15]提出基于编解码器序列到序列(sequence-to-sequence)的深度学习模型,并考虑分别使用长短期记忆网络和门控循环单元作为其基本单元结构,预测未来无线信号强度的变化。实验结果表明,在不同的网络配置下,相较于自回归模型和线性回归模型,提出的深度学习模型性能更加优越。Sotiroudis S P等人[16]通过将表格数据信息转化为地图信息,采用深度卷积神经网络进行图像处理,成功实现城市环境中的无线网络信号传输建模和路径损耗预测。作者同时构建了多层感知机模型,从数据驱动和图像驱动两方面进行比较评估。实验结果表明,一个合适的图像可以代替表格数据向量产生可靠的预测。然而,因为用于构建地图信息的表格数据的选择较为苛刻,该方法难以适用于其他环境中的无线网络信号传输建模。Thrane J 等人[17]对卫星图像使用深度卷积神经网络实现精准路径损耗预测,与射线追踪模型[18]和统计模型等传统建模方法相比,该方法拥有更准确的预测性能和更好的模型泛化能力。此外,Thrane J等人还通过一个简单的路径损耗模型辅助卷积神经网络学习,提高预测性能。但是,该模型的超参数调整没有较为合适的解决方案。上述几种模型在场景普适性方面具有较大的局限性,只能适用于单一场景的无线网络信号传输建模。目前,能够很好地适用于多种场景的无线网络信号传输模型极少。

本文基于数据驱动的思想构建适用于多种场景的无线网络信号传输模型,采用区间二型模糊推理对规则后件个体深度学习器进行集成,在获得更高预测精度的同时提高无线网络信号传输模型的鲁棒性。此外,将本文提出的模型与 Cost231-Hata模型和反向传播神经网络(back propagation neural network,BPNN)模型进行对比分析,验证个体深度学习器的性能。最后重点研究集成模型与个体深度学习器之间的关系、同质集成与异质集成方式的差异以及规则数目对集成模型的影响。

2 数据处理

2.1 特征构建

无线网络信号传输模型的原始数据包括工程参数数据和地图数据两部分。其中,工程参数数据记录了某小区内站点的工程参数信息,包括小区标识、小区基站坐标、发射机相对于地面的高度、发射机水平方向角、发射机发射功率等信息。地图数据记录了地形地貌等信息,包括小区基站的海拔高度、小区基站的建筑物高度、接收端的位置坐标、接收端的海拔高度与建筑物高度、小区基站和接收端的地物类型索引信息等。其中,地物类型包含海洋、城郊开阔区域、城区多层建筑、农村等 20 类不同的地物类型,对它们从 1 到 20 进行编号。模型的输出为接收端的平均功率。

在城市场景中,Cost231-Hata 经验模型中的传输路径损耗PL(单位为dB)如下:

PL=46.3+33.9log10f13.82log10hbα+

(44.96.55log10hue)log10d+Cm    (1)

其中,f为载波频率(单位为MHz)、hb为基站天线有效高度(单位为 m)、hue为用户天线的有效高度(单位为m)、α为用户天线高度纠正项(单位为dB)、d为链路距离(单位为km),Cm为场景纠正常数(单位为dB)。

参考信号接收功率(reference signal received power,RSRP)与PL的关系如下:

RSRP=PtPL    (2)

其中,Pt是小区发射机的发射功率(单位为dBm), RSRP表示LTE蜂窝网络的接收功率水平,采用平均值进行测量,为了使描述更加直观,文中其他处使用接收端信号平均功率表示。同样地,RSRP 也是本文研究使用的数据标签。

综合考察式(1)、式(2)以及相关先验知识,本文构建的新特征见表1

表1   本文构建的新特征

特征名称特征含义
dis_2d信号接收端与信号发射端之间的二维距离
dis_2d_log信号接收端与信号发射端之间二维距离的对数形式
dis_3d信号接收端与信号发射端之间的三维距离
dis_3d_log信号接收端与信号发射端之间三维距离的对数形式
h基站发射机的有效高度
h_log基站发射机有效高度的对数形式
hori_beta信号接收端和信号发射端的连线与发射机信号发射方向之间的二维夹角
spare_beta信号接收端和信号发射端的连线与发射机信号发射方向之间的三维夹角

新窗口打开| 下载CSV


2.2 特征选择

在无线网络信号传输建模过程中,输入特征的选择起着重要作用[19,20],剔除非本质的输入特征向量既有利于降低模型复杂度、提高训练效率,又能够改善模型泛化能力、增强预测鲁棒性。现有的特征选择方法一般分为3类:过滤式、包裹式和嵌入式。通常包裹式和嵌入式方法可以得到比过滤式方法更好的结果,但是,过滤式方法的计算效率更高。本文采用3种不同系数(即皮尔逊相关系数SPearson、最大互信息系数 SMIC、随机森林 SRF)对构建的初始特征(包含原始特征和表1中新构建的特征)进行选择,得到各个特征与输出标签的相关程度,如图1所示。其中,除表1中构造的新特征外,其余特征名称的含义如下。

●Building_Height:信号接收端的建筑物高度(单位为m)。

●Clutter_Index:信号接收端的地物特征索引(包括海洋、湿地、城区多层建筑等20个不同的地物类型,用1, 2, …, 20代替,下同)。

●Cell_Index:小区的数字标识(用以区分不同小区的一串数字)。

●Cell_Clutter_Index:信号发射端的地物特征索引。

●delta_h:信号接收端与上方发射机发出的信号线之间的相对高度(单位为m)。

●X:信号接收端的横坐标。

●RS_Power:信号发射端发射机的发射功率(单位为dBm)。

●x_log:X的对数形式。

图1

图1   特征与输出标准的相关程度


●Cell_X:信号发射端的横坐标。

●Y:信号接收端的纵坐标。

●y_log:Y的对数形式。

●Electrical_Downtilt:信号发射端发射机的垂直电子下倾角(单位为Deg)。

●Cell_Altitude:信号发射端的海拔高度(单位为m)。

●Cell_Y:信号发射端的纵坐标。

●Altitude:信号接收端的海拔高度(单位为m);

●Mechanical_Downtilt:信号发射端发射机的垂直机械下倾角(单位:Deg)。

●Cell_Building_ Height:信号发射端的建筑物高度(单位为m)。

●Azimuth:信号发射端发射机的水平方向角(单位为Deg)。

●Height:信号发射端发射机相对地面的高度(单位为m)。

然后对以上3种特征选择结果进行加权求和,得到最后分数,即:

Score=w1SPearson+w2SMIC+w3SRF    (3)

其中,w1、w2、w3分别表示Spearson、SMIC、SRF所占权重,这里采用相等权重求和,最后综合评估特征与输出标签之间的相关程度,如图1(b)所示。通过观察发现,初始特征中角度信息和距离信息与输出标签的相关性最大。为进一步验证以上结论的正确性,随机选取两个小区无线网络信号接收强度数据进行可视化,研究信号接收端位置信息的接收端信号平均功率之间的关系,如图2所示,其中,黑色箭头的方向为发射机方位角的方向。

图2可知,在距离发射机相同远近的情况下,信号接收端平均功率与角度特征(信号接收端和信号发射端的连线与发射机信号发射方向之间的二维夹角、信号接收端和信号发射端的连线与发射机信号发射方向之间的三维夹角)大致呈负相关。同理,沿着发射机信号发射方向的接收端信号平均功率与发射机距离呈负相关。由于电磁波在传输过程中遇到障碍物会发生能量衰减现象,所以对基站(发射端)和信号接收端的地物特征进行合理分类就显得十分重要。不同地物特征之间具有均一性,需要对20种地物特征进行独热编码。同时,考虑到输入特征之间量纲不统一的问题,对每个特征和输出标签分别按照式(4)进行归一化:

F¯i=FiFiminFimaxFimin    (4)

其中,Fi表示第i个输入特征向量,i=1,…,n。FiminFimax分别表示数据集中第i个特征的最小值和最大值,F¯i表示归一化后的特征向量。

3 区间二型模糊集成深度学习方法

无线网络信号传输建模是典型的监督回归问题,本文提出一种新颖的集成学习算法,从不同场景采集的 5G 信号传输数据获取一个复杂的拟合函数。整个区间二型模糊集成(interval type-2 fuzzy ensemble,ITFE)算法流程如图3所示,包括两个主要部分:个体深度学习器的构建和区间二型模糊集成器的确定。

3.1 个体深度学习器

自 20 世纪中叶神经网络被提出以来,采用监督学习训练神经网络并建立复杂系统的高精度模型一直是研究的热点问题。由于早期神经网络算法和计算工具的局限,浅层神经网络是建模的主要手段。但由于浅层神经网络难以表达更加复杂的函数映射关系,使其在很多问题中的应用效果不甚理想。近年来,随着新训练手段的出现,深度学习(深层神经网络)受到极大关注。本文通过分析建模问题的本质特征,并结合数据集的属性,选择深度置信网络(deep belier network,DBN)、残差网络(residual network,ResNet)、堆叠自编码器(stacked autoncoder,SAE)作为集成模型的个体深度学习器。

图2

图2   小区不同位置处平均接收功率的分布


图3

图3   区间二型模糊集成算法流程


DBN的组成元件是受限玻尔兹曼机(restricted Boltzmann machine,RBM),每一个RBM均由两层神经元构成:一层是显层,另一层是隐层。将上一个RBM的隐层作为下一个RBM的显层,在最后一层之后加上全连接层作为回归层。在DBN的训练过程中,首先进行基于 RBM 的无监督预训练,采用对比散度(contrastive divergence,CD)算法进行权值初始化(Hinton G E[21]指出k=1时有不错的效果),然后采用批梯度下降法对参数进行微调。

ResNet的提出是为了克服随着神经网络深度持续增加,网络性能接近饱和甚至下降的难题。针对这种“退化现象”,He K M等人[22]提出“快捷连接”,解决了由于梯度消失引起的网络参数调整失效问题,使得更深层神经网络的训练和应用成为可能。本文对“快捷连接”做了部分改进,如图4所示,每个残差块采用层间神经元节点全连接方式,由于样本特征维度是48,故采用全连接方式兼顾信息完整性和算法复杂性。

SAE的基本组件是自编码器,如图5所示,包括编码和解码部分。在训练过程中,首先对每个自编码器逐个进行预训练,将每个自编码器的解码输出作为下一个自编码器的编码输入,然后在最后一个自编码器之后加上全连接层作为回归层,构成用于建模的SAE。其中自编码器预训练和整体模型参数优化均采用批梯度下降法。

图4

图4   残差块层间连接


图5

图5   自编码器


3.2 区间二型模糊集成器

1965年Zadeh提出一型模糊集合的概念,但是由于它的隶属值是属于[0,1]的精确值,描述不确定信息的能力有限。相较于一型模糊集合,近来提出的二型模糊集合[2324]能够更好地处理非平稳噪声问题,但计算复杂度较大,因此它的特例区间二型模糊集合[25]被进一步研究,并得到广泛应用。将区间二型模糊集合作为规则前件或后件的推理系统被称为区间二型模糊推理系统,如图6所示。它的计算过程如下:首先将清晰输入通过模糊化得到区间二型模糊集合;然后根据区间二型模糊IF-THEN规则进行模糊推理,得到输出区间二型模糊集合,接着通过降型操作将其转化为一型模糊集合;最后经过解模糊得到清晰输出。为方便规则前件的参数优化,本文采用单值模糊化、高斯型隶属函数作为规则前件、非归一化区间二型模糊推理的方式,并对后件个体深度学习器进行集成,从而降低噪声干扰,提高信号传输模型泛化性能。

图6

图6   区间二型模糊推理系统


在集成学习中,个体深度学习器的准确性和多样性本身存在冲突,一般地,准确性很高之后,多样性就很难保证。集成学习算法的核心便是研究如何产生并结合多个“好而不同”的个体深度学习器[2627]。集成学习中个体深度学习器之间的组合策略常用的有平均法、投票法和学习法等,其中, Stacking[2829]是学习法的典型代表。本文考虑到区间二型模糊推理系统具有易解释性和更强的处理不确定因素的能力[30,31,32],使用其对个体深度学习器进行集成。整个集成过程如下。

采用k-means聚类算法对区间二型模糊规则前件参数进行初始化,则前件上界高斯隶属函数、前件下界高斯隶属函数可表示为:

μ¯ij(Fi)=exp((Ficij)22σ¯j2)    (5)

μ_ij(Fi)=exp((Ficij)22σ_j2)    (6)

其中,0<σ_j<σ¯jcijR,cij是前件隶属函数的中心,σ_jσ¯j是下上界隶属函数的均方差,Fi是第i维输入特征向量。由此计算得到模糊规则激活力的上界和下界:

f¯j(F)=i=1nμ¯ij(Fi)    (7)

f_j(F)=i=1nμ_ij(Fi)    (8)

其中,j∈[1,M],M是规则数,n是样本特征维数。

将特征向量F输入第j条模糊规则后件(个体深度学习器),计算得到输出 IOj(F)。将式(7)和式(8)得到的模糊规则激活力上界和下界分别与模糊后件输出IOj(F)进行加权求和,即:

y¯=j=1Mf¯j(F)IOj(F)    (9)

y_=j=1Mf_j(F)IOj(F)    (10)

区间二型模糊集成输出为:

y=12(y¯+y_)    (11)

根据式(5)~式(11)可得:

y=12j=1M(i=1nμ¯ij(Fi)IOj(F)+i=1nμ_ij(Fi)IOj(F))    (12)

用矩阵表示为:

Y=12(FS¯+FS_)IO    (13)

其中,FS¯FS_表示上下界激活力矩阵,IO 表示后件参数矩阵。区间二型模糊集成深度学习训练过程如下。

输入:个体深度学习器训练数据集Di,集成学习器训练数据集Ds,测试集Dt

输出:学习到的区间二型模糊集成深度学习模型

步骤1:训练个体深度学习器

(1)初始化所有参数;

(2)采用批梯度下降法训练DBN模型;

(3)采用批梯度下降法训练ResNet模型;

(4)采用批梯度下降法训练SAE模型;

(5)循环(1)~(4),直到引入早停机制,当测试集的均方根误差(root mean squared error, RMSE)不再降低时,训练停止,得到多个训练好的个体深度学习器。

步骤2:训练集成学习器

(6)调整集成方式;

(7)采用k-means聚类得到前件参数,包括:前件隶属函数中心 cij,上下隶属函数均方差σ¯jσ_j,i∈[1,n],j∈[1,M];

(8)将集成学习器训练数据集Ds输入步骤一训练好的个体深度学习器中,得到后件参数;

(9)采用批梯度下降法训练集成学习器;

(10)循环(6)~(9),直到引入早停机制,当测试集的RMSE不再降低时,训练停止。

集成模型的后件是训练好的个体深度学习器(DBN、ResNet或SAE),不在集成优化过程中对其结构和参数进行调整,前件参数采用批梯度下降法调整。根据参与集成的个体深度学习器的网络类型,可以采用同质或异质集成方式得到模糊规则后件。

4 实验验证

本文采用的实测 5G 无线网络信号样本数据包含4 000个文件,每个文件代表一个小区内的数据,且每个文件内的样本数量不等。在数据处理阶段,首先考虑到存在缺失特征的数据样本占全部样本的比例很小,故直接删除;然后对每个小区内距离基站较远的样本执行删除操作,减少异常样本对模型准确度的影响;最后将所有小区内的样本混合成一个文件,共有11 809 205个样本。在特征选择阶段,设置阈值ε=0.01,对于综合特征系数,删除小于阈值的特征以提高模型的泛化能力,特征选择之后样本的数据特征共有 48 个。在特征数据划分阶段,首先将数据集划分为训练集和测试集,其中测试集共有2 361 841个样本;然后将训练集划分为用于个体深度学习器训练的数据集和用于集成学习器训练的数据集,其中个体深度学习器数据集共有7 557 892个样本,集成学习器数据集共有1 889 472个样本。在实验验证阶段,程序运行在 64 位Windows10操作系统下的PyTorch1.3.1上,使用的台式机配置为内存32 GB、CPU Intel i7-9700K以及显卡NVIDIA GeForce RTX 2080Ti,使用以下4 种评价标准评价标签值与实际输出值之间的差异分别为平均绝对误差(mean absolute error,MAE)、平均绝对百分比误差(mean absolute percentage error,MAPE)、最大误差(MaxPE)、RMSE:

MAE=1Ntk=1Nt|y(k)yo(k)|    (14)

MAPE=1Ntk=1Nt|y(k)yo(k)y(k)|    (15)

MaxPE=max1kNt|y(k)yo(k)|    (16)

RMSE=1Ntk=1Nt(y(k)yo(k))2    (17)

其中,y(k)表示信号接收端的标签值,yo(k)表示信号接收端的实际输出值,Nt表示测试数据数目。

(1)实验一:个体深度学习器性能验证

各模型参数如下:Cost231-Hata 模型中的场景纠正常数Cm为1.5 dB,用户天线高度纠正项α为1.3 m。BPNN模型中设置3个隐层,采用Sigmoid激活函数,学习率为10-4。DBN模型中设置隐层数目10个,即有10个RBM。在预训练阶段,每个RBM的学习率均为 10-4;在微调阶段,每个 RBM的学习率为10-6。ResNet模型中设置残差块数目50个,使用ReLU激活函数,学习率为10-4,隐层神经元节点数目为150个,神经元丢失率(dropout)为0.5。SAE模型中设置30个自编码器,每个自编码器的中间层有 120个神经元节点,采用 Sigmoid激活函数,学习率为 10-4。在 ResNet、DBN 和 SAE模型中加入早停机制以减小过拟合,每批次样本512个。

表2采用4种评价标准对Cost231-Hata、BPNN、ResNet、SAE、DBN模型进行比较,结果发现,个体深度学习器(ResNet、SAE、DBN模型)的测试效果优于 Cost231-Hata 模型以及 BPNN 模型,在RMSE评价标准上,ResNet低于Cost231-Hata模型65.224%、低于BPNN模型28.128%。而且3种个体深度学习器中,ResNet在测试集上准确度最高,在RMSE评价标准上低于SAE模型3.959%,低于DBN模型3.497%;在MaxPE评价标准上,SAE模型表现最优,低于 ResNet 模型 0.656 dBm,低于DBN模型4.123 dBm。

表2   个体深度学习器与BPNN、Cost231-Hata模型对比结果

模型MaxPE/dBmMAE/dBmMAPERMSE/dBm
Cost231-Hata118.79919.28921.655%25.952
BPNN52.02810.26312.097%12.557
ResNet43.5457.1127.946%9.025
SAE42.8897.4458.303%9.397
DBN47.0127.4198.413%9.352

新窗口打开| 下载CSV


(2)实验二:区间二型模糊集成方法性能验证

训练参数如下:在k-means聚类算法中,聚类数目等于规则数目,聚类中心是高斯隶属函数的中心cj,均方差σj是聚类j中的数据样本到聚类中心的距离的平均值,由此可得σ¯j=σjλjσ_j=σj×λj,j∈[1,M],其中M是规则数,随机参数λj服从(0,1)的均匀分布。在集成模型中,设置学习率为10-3,加入早停机制以减小过拟合,每批次样本512个。

首先,本实验对3种个体深度学习器在不同规则数目下做同质集成,见表3。表中模型命名的结尾数字表示其规则数目,例如:IT2_ResNet4 表示采用 4 个 ResNet 模型进行同质集成。分析表格数据发现,模型在测试集上的RMSE与个体深度学习器在测试集上的RMSE呈正相关,当规则数目为3时,ResNet集成在测试集上的RMSE较DBN集成降低5.073%、较SAE集成降低6.487%,且增加规则数目能够提高模型性能。

表3   同质集成之间的比较

模型MaxPE/dBmMAE/dBmMAPERMSE/dBm
IT2_ResNet342.7276.9237.732%8.794
IT2_ResNet443.0106.9077.715%8.772
IT2_ResNet543.3446.9047.711%8.770
IT2_DBN342.0187.3328.213%9.264
IT2_DBN442.5457.2498.117%9.167
IT2_DBN545.0847.1277.976%9.034
IT2_SAE342.9957.4548.357%9.404
IT2_SAE443.0967.4298.331%9.377
IT2_SAE541.6437.3878.278%9.324

新窗口打开| 下载CSV


然后,本实验对3种个体深度学习器在不同规则数目下做异质集成,见表4。根据参与集成的个体深度学习器数目对模型进行命名,例如:IT2_2RS2D表示采用两个ResNet、1个SAE和两个DBN模型进行异质集成。对同一规则数目下的模型进行对比分析发现,模型在测试集上的表现与个体深度学习器的准确度呈正相关;对不同规则数目下的模型进行对比分析发现,增加规则数目能够改善模型性能。

最后,进一步对比不同集成方式在测试集上的表现,如图7所示。当规则数目是3个和4个时,由于同质集成个体深度学习器 ResNet 在测试集上的准确度高于异质集成个体深度学习器 DBN 和SAE,同质集成在测试集上的RMSE低于异质集成。然而当规则数目是5个和6个时,异质集成在测试集上的RMSE低于同质集成,原因是同质集成个体深度学习器的多样性较差。

表4   异质集成之间的比较

模型MaxPE/dBmMAE/dBmMAPERMSE/dBm
IT2_RSD41.6286.9597.778%8.836
IT2_2RSD41.7426.9097.722%8.775
IT2_R2SD41.8956.9477.753%8.827
IT2_RS2D41.9106.9557.778%8.828
IT2_3RSD42.1536.8837.663%8.758
IT2_2R2SD41.8096.9067.713%8.775
IT2_2RS2D42.6766.8917.679%8.763
IT2_R3SD43.4646.9517.767%8.827
IT2_R2S2D41.0576.9497.763%8.825

新窗口打开| 下载CSV


图7

图7   不同规则数目下同质集成与异质集成在测试集上的表现


(3)实验三:分析比较区间二型模糊集成方法与其他集成方法的性能

模糊堆叠集成(fuzzy stacking ensemble,FSE)和模糊后件集成(fuzzy consequent ensemble,FCE)均使用一型模糊推理对个体深度学习器进行集成。不同的是,FSE的输入是FSE中用于集成的数据集在个体深度学习器上的输出,采用k-means算法对输入数据进行聚类得到前件初始参数,后件初始参数是服从(0,1)的随机数。FCE的后件参数是FCE中用于集成的数据集在个体深度学习器上的输出,前件初始参数通过k-means聚类算法生成。基本集成(basic ensemble,BE)是对个体深度学习器的输出加权求和。本实验中,待优化参数均采用批梯度下降算法进行调整,批次大小为512,学习率为10-3

本实验针对 FSE、FCE、BE 和 IT2FE 模型在同质集成和异质集成方式下进行对比,见表5。ResNet3表示采用3个ResNet模型进行同质集成, RSD表示采用ResNet、SAE、DBN模型进行异质集成。同质集成中IT2FE在测试集上的RMSE分别低于FSE、FCE、BE模型1.180%、0.633%、1.024% (由于4种评价标准的变化具有一致性,仅以RMSE为例)。异质集成中IT2FE的RMSE分别低于FSE、FCE、BE模型0.886%、0.113%、0.668%,原因是IT2FE模型的可调参数空间更大。

表5   不同集成算法之间的比较

个体深度学习器评价标准集成方法
FSEFCEBEIT2FE
ResNet3MaxPE/dBm43.34443.25043.45042.727
MAE/dBm7.0116.9696.9996.923
MAPE7.838%7.768%7.820%7.732%
RMSE/dBm8.8998.8508.8858.794
RSDMaxPE/dBm42.55341.59643.31841.628
MAE/dBm7.0256.9697.0106.959
MAPE7.858%7.792%7.842%7.778%
RMSE/dBm8.9158.8468.8958.836

新窗口打开| 下载CSV


5 结束语

本文提出一种适用于多场景的数据驱动无线网络信号传输模型,实验一验证了个体深度学习器的性能,其中ResNet模型在测试集上的RMSE低于 Cost231-Hata 模型 65.224%、低于 BPNN 模型28.128%。为进一步提高模型性能,在实验二中引入一种新颖的集成算法,研究模型精度与集成方式以及规则数目之间的关系。在实验三中,分析比较IT2FE与其他集成方法的性能。实验表明,集成模型精度与规则数目、个体深度学习器准确度呈正相关,且异质集成模型准确度高于同质集成模型准确度。另外,所提出的方法相较于其他集成方法具有更高的精度,在充分发挥模型准确性的同时也提高了泛化性能。

考虑到样本数据获取成本较高的问题,下一步工作将会采用平行学习的思想,借助生成对抗网络产生虚拟样本数据,将真实样本与虚拟样本输入虚实互动的孪生深度学习网络模型。另外,根据样本数据地物类型差异,建立多模态信号传输深度学习网络模型,提高模型的训练效率和泛化能力。

The authors have declared that no competing interests exist.
作者已声明无竞争性利益关系。

参考文献

SHAFI M , MOLISCH A F , SMITH P J ,et al.

5G:a tutorial overview of standards,trials,challenges,deployment,and practice

[J]. IEEE Journal on Selected Areas in Communications, 2017,35(6): 1201-1221.

[本文引用: 1]

RAPPAPORT T S , MACCARTNEY G R , SAMIMI M K ,et al.

Wideband millimeter-wave propagation measurements and channel models for future wireless communication system design

[J]. IEEE Transactions on Communications, 2015,63(9): 3029-3056.

[本文引用: 1]

RAPPAPORT T S .

Wireless communications:principles and practice

[M]. New Jersey: Prentice Hall PTR, 1996.

[本文引用: 1]

ZAPPONE A , DI RENZO M , DEBBAH M .

Wireless networks design in the era of deep learning:model-based,AI-based,or both?

[J]. IEEE Transactions on Communications, 2019,67(10): 7331-7376.

[本文引用: 1]

HATA M .

Empirical formula for propagation loss in land mobile radio services

[J]. IEEE Transactions on Vehicular Technology, 1980,29(3): 317-325.

[本文引用: 1]

MEDEISIS A , KAJACKAS A .

On the use of the universal Okumura-Hata propagation prediction model in rural areas

[C]// 2000 IEEE 51st Vehicular Technology Conference. Piscataway:IEEE Press, 2000: 1815-1818.

[本文引用: 1]

WERNER-ALLEN G , LORINCZ K , RUIZ M ,et al.

Deploying a wireless sensor network on an active volcano

[J]. IEEE Internet Computing, 2006,10(2): 18-25.

[本文引用: 1]

DUNCAN C A .

Finite difference time domain analysis of fractal antennas used in wireless communications

[D]. Miami:Florida International University, 2004.

[本文引用: 1]

POPOOLA S I , ATAYERO A A , FARUK N ,et al.

Standard propagation model tuning for path loss predictions in built-up environments

[C]// International Conference on Computational Science and Its Applications. Cham:Springer, 2017: 363-375.

[本文引用: 1]

SUN Y H , PENG M , ZHOU Y C ,et al.

Application of machine learning in wireless networks:key techniques and open issues

[J]. IEEE Communications Surveys & Tutorials, 2019,21(4): 3072-3108.

[本文引用: 1]

ALDOSSARI S M , CHEN K C .

Machine learning for wireless communication channel modeling:an overview

[J]. Wireless Personal Communications, 2019,106(1): 41-70.

[本文引用: 1]

POPESCU I , NIKITOPOULOS D , CONSTANTINOU P ,et al.

ANN prediction models for outdoor environment

[C]// 2006 IEEE 17th International Symposium on Personal,Indoor and Mobile Radio Communications. Piscataway:IEEE Press, 2006: 1-5.

[本文引用: 1]

ZHAO X N , HOU C P , WANG Q .

A new SVM-based modeling method of cabin path loss prediction

[J]. International Journal of Antennas and Propagation, 2013(2): 718-720.

[本文引用: 1]

ZINEB A B , AYADI M .

A multi-wall and multi-frequency indoor path loss prediction model using artificial neural networks

[J]. Arabian Journal for Science and Engineering, 2016,41(3): 987-996.

[本文引用: 1]

HERATH J D , SEETHARAM A , RAMESH A .

A deep learning model for wireless channel quality prediction

[C]// 2019 IEEE International Conference on Communications. Piscataway:IEEE Press, 2019: 1-6.

[本文引用: 1]

SOTIROUDIS S P , GOUDOS S K , SIAKAVARA K .

Deep learning for radio propagation:using image-driven regression to estimate path loss in urban areas

[J]. ICT Express, 2020,6(3): 160-165.

[本文引用: 1]

THRANE J , ZIBAR D , CHRISTIANSEN H L .

Model-aided deep learning method for path loss prediction in mobile communication systems at 2.6 GHz

[J]. IEEE Access, 2020,8: 7925-7936.

[本文引用: 1]

YUN Z Q , ISKANDER M F .

Ray tracing for radio propagation modeling:principles and applications

[J]. IEEE Access, 2015,3: 1089-1100.

[本文引用: 1]

KHALID S , KHALIL T , NASREEN S .

A survey of feature selection and feature extraction techniques in machine learning

[C]// 2014 Science and Information Conference. Piscataway:IEEE Press, 2014: 372-378.

[本文引用: 1]

CHANDRASHEKAR G , SAHIN F .

A survey on feature selection methods

[J]. Computers & Electrical Engineering, 2014,40(1): 16-28.

[本文引用: 1]

HINTON G E , SALAKHUTDINOV R R .

Reducing the dimensionality of data with neural networks

[J]. Science, 2006,313(5786): 504-507.

[本文引用: 1]

HE K M , ZHANG X Y , REN S Q ,et al.

Deep residual learning for image recognition

[C]// The IEEE Conference On Computer Vision and Pattern Recognition. Piscataway:IEEE Press, 2016: 770-778.

[本文引用: 1]

ZADEH L A .

The concept of a linguistic variable and its application on approximate reasoning-I

[J]. Information Sciences, 1975,8(3): 199-249.

[本文引用: 1]

MENDEL J M .

Uncertain rule-based fuzzy systems:introduction and new directions (second edition)

[M]. Berlin: Springer, 2017: 684.

[本文引用: 1]

伍冬睿, 曾志刚, 莫红 ,.

区间二型模糊集和模糊系统:综述与展望

[J]. 自动化学报, 2020,46(8): 1539-1556.

[本文引用: 1]

WU D R , ZENG Z G , MO H ,et al.

Interval type-2 fuzzy sets and system:overview and outlook

[J]. Acta Automatica Sinica, 2020,46(8): 1539-1556.

[本文引用: 1]

DONG X B , YU Z W , CAO W M ,et al.

A survey on ensemble learning

[J]. Frontiers of Computer Science, 2020: 1-18.

[本文引用: 1]

KRAWCZYK B , MINKU L L , GAMA J ,et al.

Ensemble learning for data stream analysis:a survey

[J]. Information Fusion, 2017,37: 132-156.

[本文引用: 1]

BREIMAN L .

Stacked regressions

[J]. Machine learning, 1996,24(1): 49-64.

[本文引用: 1]

WOLPERT D H .

Stacked generalization

[J]. Neural networks, 1992,5(2): 241-259.

[本文引用: 1]

GARIBALDI JONATHAN M, 陈虹宇, 李小双, .

差异与学习:模糊系统与模糊推理

[J]. 智能科学与技术学报, 2019,1(4): 319-326.

[本文引用: 1]

GARIBALDI JONATHAN M , CHEN H Y , LI X S .

Variation and learning:fuzzy system and fuzzy inference

[J]. Chinese Journal of Intelligent Science and Technology, 2019,1(4): 319-326.

[本文引用: 1]

陈德旺, 蔡际杰, 黄允浒 .

面向可解释性人工智能与大数据的模糊系统发展展望

[J]. 智能科学与技术学报, 2019,1(4): 327-334.

[本文引用: 1]

CHEN D W , CAI J J , HUANG Y H .

Development prospect of fuzzy system oriented to interpretable artificial intelligence and big data

[J]. Chinese Journal of Intelligent Science and Technology, 2019,1(4): 327-334.

[本文引用: 1]

杜宏庆, 陈德旺, 黄允浒 ,.

基于改进遗传算法与支持度的模糊系统优化建模方法

[J]. 智能科学与技术学报, 2020,2(2): 179-185.

[本文引用: 1]

DU H Q , CHEN D W , HUANG Y H ,et al.

A fuzzy system optimization modeling method based on improved genetic algorithm and support degree

[J]. Chinese Journal of Intelligent Science and Technology, 2020,2(2): 179-185.

[本文引用: 1]

/