基于改进遗传算法与支持度的模糊系统优化建模方法

doi:10.11959/j.issn.2096-6652.202020

基于改进遗传算法与支持度的模糊系统优化建模方法

杜宏庆¹^,², 陈德旺¹^,², 黄允浒¹^,², 朱凤华³, 李灵犀⁴

1 福州大学数学与计算机科学学院，福建福州 350108

2 福州大学智慧地铁福建省高校重点实验室，福建福州 350108

3 中国科学院自动化研究所复杂系统管理与控制国家重点实验室，北京 100190

4 印第安纳大学-普渡大学印第安纳波利斯分校电子与计算机工程系，美国印第安纳波利斯 46202

A fuzzy system optimization modeling method based on improved genetic algorithm and support degree

DU Hongqing¹^,², CHEN Dewang¹^,², HUANG Yunhu¹^,², ZHU Fenghua³, LI Lingxi⁴

1 College of Mathematics and Computer Science,Fuzhou University,Fuzhou 350108,China

2 Key Laboratory of Intelligent Metro of Universities in Fujian Province,Fuzhou University,Fuzhou 350108,China

3 State Key Laboratory of Complex Systems Management and Control,Institute of Automation,Chinese Academy of Sciences,Beijing 100190,China

3 Department of Electrical and Computer Engineering,Indiana University-Purdue University Indianapolis,Indianapolis 46202,USA

修回日期: 2020-05-14 网络出版日期: 2020-06-20

基金资助:

国家自然科学基金资助项目.  61976055
福建省高校智能地铁重点实验室建设基金资助项目.  53001703
福建省高校智能地铁重点实验室建设基金资助项目.  50013203

Revised: 2020-05-14 Online: 2020-06-20

Fund supported:

The National Natural Science Foundation of China. 61976055. 53001703. 50013203

作者简介 About authors

杜宏庆（1996–），男，福州大学数学与计算机科学学院硕士生，主要研究方向为模糊系统、智能计算和大数据。

陈德旺（1976–），男，博士，福州大学数学与计算机科学学院教授、博士生导师，福建省“闽江学者特聘教授”，美国加州大学伯克利分校访问学者，中国自动化学会混合智能专业委员会副主任，中国自动化学会粒计算与多尺度分析专业委员会秘书长，IEEE高级会员，IEEETransactiononITS编委，主要研究方向为人工智能、大数据、最优化、智慧地铁和智慧新能源等。

黄允浒（1990–），男，福州大学数学与计算机科学学院博士生，主要研究方向为智能计算、大数据与最优化。

朱凤华（1976–），男，博士，中国科学院自动化研究所复杂系统管理与控制国家重点实验室副教授，主要研究方向为人工交通系统和并行交通管理系统。

李灵犀（1977-），男，博士，印第安纳大学-普渡大学印第安纳波利斯分校电子与计算机工程系副教授，主要研究方向为复杂系统的建模、分析、控制与优化，智能交通系统、智能汽车、车辆主动安全系统与人因学。

摘要

模糊系统是一种可解释性强的人工智能方法，经典Wang-Mendel（WM）方法因能从数据中自动获取模糊规则，而成为一种重要的智能建模方法。但是该方法存在规则数目较多、精度不高等不足，且目前的改进方法普遍存在计算复杂、效率低等问题。为此，提出一种改进遗传算法与基于支持度的规则约简相结合的模糊系统优化建模新方法——遗传模糊系统（GFS），通过优化模糊系统的结构及隶属函数参数，由目标函数的不同组合构成GFS1、GFS2与GFS3这3种模型的具体实现算法。在标准及加噪的电能输出数据集上进行模糊建模试验，其结果表明：GFSi(i=1,2,3)模型预测精度高于WM方法且规则数更少；其抗噪能力显著优于径向基函数神经网络、反向传播神经网络；GFS3 的适应度函数评估效果最佳，因此其性能最优。提出的方法在充分发挥模糊系统可解释性、鲁棒性强优势的同时保障了预测精度，是一种很有潜力的人工智能算法。

关键词： 模糊系统 ; 改进遗传算法 ; 规则约简 ; 可解释性 ; 鲁棒性

Abstract

Fuzzy system is a kind of artificial intelligence method with strong explanatory ability.The classical Wang-Mendel (WM) method can automatically obtain fuzzy rules from data,and it has become an important intelligent modeling method.There are many problems in this method,such as the large number of rules and the low precision.And at present,there are many problems in the improved methods,such as complex calculation and low efficiency.For this reason,a new method of fuzzy system optimization modeling based on improved genetic algorithm and rule reduction based on support degree:genetic fuzzy system (GFS) was proposed.By optimizing the structure and membership function parameters of the fuzzy system,the concrete algorithm of GFS1,GFS2 and GFS3 models were constructed by different combinations of objective functions.The results of fuzzy modeling experiments on the standard and noisy power output data sets show that:1) GFSi (i =1,2,3) model fitting accuracy is higher than WM method and the number of rules is less; 2) its anti-noise capability is significantly better than that of RBF and BP neural network; 3) the fitness function of GFS3 has the best evaluation effect,so its performance is optimal.The method proposed in this paper gives full play to the advantages of the interpretability and robustness of the fuzzy system and guarantees the accuracy at the same time.It is a potential artificial intelligence algorithm.

Keywords： fuzzy system ; improved genetic algorithm ; rule reduction ; interpretability ; robustness

PDF (2024KB) 元数据多维度评价相关文章导出 EndNote| Ris| Bibtex 收藏本文

本文引用格式

杜宏庆, 陈德旺, 黄允浒, 朱凤华, 李灵犀. 基于改进遗传算法与支持度的模糊系统优化建模方法. 智能科学与技术学报[J], 2020, 2(2): 179-185 doi:10.11959/j.issn.2096-6652.202020

DU Hongqing. A fuzzy system optimization modeling method based on improved genetic algorithm and support degree. Chinese Journal of Intelligent Science and Technology[J], 2020, 2(2): 179-185 doi:10.11959/j.issn.2096-6652.202020

1 引言

与其他人工智能方法（如神经网络（Neural Network，NN）、进化算法等）相比，模糊系统理论的突出优点是整个系统是基于规则构建的，在可解释性上具有显著的优越性^[1]，主要体现在结构与参数具有清晰的物理意义、每一条规则都可以被直观地解释，这为人们理解与接受其中蕴涵的知识提供了思路。模糊系统由一系列IF-THEN规则构成，系统的结构和参数可以用IF-THEN规则解释，且具备快速、灵活性强的优势。而神经网络在这方面却表现很差，即使是专家也难以解释和理解参数的意义。目前，基于全局优化的模糊神经网络系统以及神经网络、模糊系统和遗传算法三者相结合的方法能够优化从数据中提取出的模糊规则。尽管该方法已经较好地解决了上述问题，但系统的可解释性仍得不到保证。其原因在于这些算法的目标是获得最优系统响应性能，而对模糊集合划分个数、隶属函数参数的选取缺乏有效的指导^[1,2]。因此，如何在提高模糊系统精度与收敛速度的同时，得到最优的响应系统，克服算法效率下降的问题，增强系统的可解释性已成为研究的热点。

模糊建模的关键是模糊规则的获取，Wang 等人^[3]于1992年证明了一类模糊系统是万能逼近器，开辟了模糊逼近领域，并与 Mendel 共同提出一种与先验知识无关的、从样本数据中获得模糊规则的方法^[4]，该方法可以从完备的、规模较小且不含坏数据的样本集中获得完备的、具有较好逼近性能的模糊规则库，取得了较好的成果，但 Wang-Mendel （WM）方法存在以下几个问题：一是其产生的模糊规则库缺乏良好的完备性和鲁棒性，进而导致模糊系统精度不高；二是算法效率下降很快，对高维大数据问题无能为力；三是规则数目随着输入维度的增加而呈指数式增加，难以摆脱高维的魔咒。针对此问题，众多学者提出了改进算法。参考文献[5]提出的一种模糊c均值聚类（fuzzy c-means，FCM）算法可以在一定程度上减小样本的规模，消除噪声数据，提高WM方法的完备性和鲁棒性，提高模糊系统的预测精度。参考文献[6]提出了一种基于粒子群优化的改进WM方法，采用改进的粒子群优化算法对数据覆盖区域的模糊规则质心进行优化，通过外推得到完整的模糊规则集，在一定程度上提高了WM方法的预测精度。参考文献[7]提出一种改进的WM方法来优化样本，利用样本间的加权距离提取完整的模糊规则库，具有良好的性能，缺点为只能处理低维小数据。参考文献[8]提出了一种简化的加权WM方法，通过平衡算法的完备性和计算时间来解决模糊规则的数量和数据规模导致的 WM 方法效率不高的问题。参考文献[9]提出了一种基于改进的WM方法的语义描述方法，该方法得到的语言规则库在准确度和可解释性方面具有较强的竞争力。然而，在测试过程中，如何在避免算法效率下降以及兼顾完备性、鲁棒性的同时，提高模糊系统的可解释性，仍然是亟待解决的问题。

基于以上分析，本文提出了一种基于改进遗传算法与支持度的模糊系统优化建模方法。模糊建模实验表明，本文所提的方法在回归预测问题上比其他方法效果更佳，在充分发挥模糊系统强鲁棒性的优势的同时保障了预测精度，且有效降低了模糊规则数目，提高了模糊系统的可解释性。

2 模糊系统初始化

假设 $U = {(x^{i}; y^{i})}_{i = 1}^{N}$ 为多输入单输出系统采集的N条训练样本，其中， $x^{i} = [x_{1}^{i}, x_{2}^{i}, \dots, x_{j}^{i}, \dots, x_{m}^{i}]$ 为m维的输入向量，yⁱ为对应的输出值。本文模糊系统初始化的步骤如下。

第一步，将输入、输出空间划分为对应的模糊区间。在每个输入变量以及输出变量的论域上，划分若干个模糊子集，每个子集对应一个隶属函数。各变量的模糊子集数量及对应的隶属函数类型可按实际情况调整。

第二步，从训练样本中提取模糊规则，一条输入输出样本数据产生一条模糊规则。例如，对于某条训练样本(xⁱ;yⁱ)，计算每一维度的所有隶属函数值，选取具有最大隶属函数值的模糊子集，并由每一维度上选中的模糊子集A_r、B_r组合得到该训练样本对应的模糊规则：

if x_{1}^{i} is A_{1} and x_{2}^{i} is A_{2} \dots and

x_{m}^{i} is A_{m} then y^{i} is B_{l} (1)

第三步，赋予每条规则一个强度^[4]。规则的强度D()i 定义如下：

D (i) = (\prod_{j = 1}^{m} F_{j}^{s (i, j)} (x_{j}^{i})) \cdot F^{s (i)} (y^{i}) (2)

其中，F^k(⋅)为论域上的模糊子集F^k的隶属函数， S(,i j)、 $S (i)$ 分别为第 j维输入 $x_{j}^{i}$ 、输出yⁱ被选中的模糊子集所在位置索引。

第四步，创建模糊规则库。当样本量大时，容易产生冲突规则与冗余规则。为解决上述问题，当向规则库添加一条规则时，先检查该条规则的前件是否已存在于规则库中，若不存在，则加入规则库；否则，保留该条规则与规则库中具有最大强度的规则。

第五步，基于模糊规则库构建模糊系统，并进行模糊推理预测。采用中心反模糊化推理机，可得到第i条规则输出模糊子集的中心值为 ${\bar{y}}^{i}$ 、规则数为R的模糊系统：

y (x) = \frac{\sum_{i = 1}^{R} \prod_{j = 1}^{m} F_{j}^{s (i, j)} (x_{j}) \cdot {\bar{y}}^{i}}{\sum_{i = 1}^{R} \prod_{j = 1}^{m} F_{j}^{s (i, j)} (x_{j})} (3)

至此，初始化模型构建完成。该模型的不足之处在于其产生的模糊规则库缺乏良好的完备性和鲁棒性^[10]，进而导致模型精度不高。因此，为了提高模型精度，需要采取某种全局优化方法来提高模糊系统性能，从而提取更可靠、更优的规则，避免从“坏数据”提取出“坏规则”^[11]而导致模型精度下降现象的产生。另外，减少模糊系统规则数、提升其可解释性也是优化目的之一。

3 改进遗传算法适应度函数

遗传算法（genetic algorithm，GA）是模拟生物进化论的自然选择和群体遗传机理的计算模型，通过模拟自然选择和自然遗传过程中的繁殖、杂交和突变现象来求解问题，体现了“优胜劣汰，适者生存”的思想。其通过概率的状态转移规则自适应地调整搜索方向，本质上是一种随机化搜索全局最优解的方法，适用于模糊系统的优化^[12]。

适应度函数的质量在一定程度上决定了遗传算法搜索的范围与全局寻优能力。传统的遗传算法将单一目标函数作为适应度函数，考虑问题不够全面，有时无法寻得最优解。为综合评估模糊系统参数所有可行解的适应度并提升遗传算法找到最优解的效率，本文从传统的遗传算法出发，对适应度函数的确定方法进行改进：对于n个目标函数 $f_{i} (x) (i = 1, 2, \dots, n)$ ，结合权重系数转换法^[13]与评价函数法，赋予每个目标函数权重 $w_{i} (i = 1, 2, \dots, n)$ ，从而决定每个目标函数的重要程度，通过如下线性组合：

μ (x) = \sum_{i = 1}^{n} w_{i} \cdot f_{i} (x) (4)

将多目标函数 $μ (x) = \sum_{i = 1}^{n} w_{i} \cdot f_{i} (x) (4)$ 转化为单目标函数μ(x)，以此作为适应度函数。本文改进的遗传算法流程如图1所示。

图1

新窗口打开| 下载原图ZIP| 生成PPT

图1 改进的遗传算法流程

4 遗传模糊系统

4.1 问题描述

作为一种全局优化方法，遗传算法适用于模糊系统的结构和隶属函数参数集的优化。当前，利用遗传算法优化模糊系统的一般方法存在一定缺陷。例如，在优化完成后，不同的模糊规则中同一语言变量具有相同语义的模糊子集的参数往往不同^[14]，这在一定程度上降低了模糊系统的可解释性；再者，若维持模糊子集的语义一致性，而对不同的模糊子集进行编码^[15]，只能优化隶属函数参数，无法优化模糊系统的结构。

针对上述问题，本文以改进遗传算法机理和初始化模型的不足为出发点，利用随机化技术以及选择、交叉和变异操作^[16]对一个经过编码的隶属函数的参数空间进行高效搜索，优化模糊系统的结构和参数；提出一种基于改进遗传算法的模糊系统，即遗传模糊系统（genetic fuzzy system，GFS）的优化建模方法，对模糊系统结构及隶属函数参数进行优化，以提高模糊系统输入隶属函数的适应性和模糊规则的质量，从而提升模糊系统的可解释性及其模型的精度。

4.2 GFS建模

结合改进遗传算法机理和初始化模糊系统，给出如下GFS建模流程。

第一步，初始化种群。为确保种群基因的多样性，在式（3）中待优化的n维隶属函数参数解向量 $S = [k_{1}, k_{2}, \dots, k_{j}, \dots, k_{n}]$ 的空间中随机生成由若干个体组成的种群，作为问题的初代解。

第二步，染色体编码。采用二进制编码方式将每个个体编码为基因型，并通过进制转换将基因型转换成表现型（十进制）。

第三步，评估种群。选择目标函数作为个体的适应度函数，通过适应度函数值来评估种群。本文综合考虑模糊系统精度评价指标，分别将平均绝对误差（mean absolute error，MAE）、均方误差（mean square error，MSE）以及决定系数R²作为目标函数，计算式如下：

MAE ({\hat{y}}_{i}, y_{i}) = \frac{1}{n} \sum_{i = 1}^{n} | {\hat{y}}_{i} - y_{i} | (5)

MSE ({\hat{y}}_{i}, y_{i}) = \frac{1}{n} \sum_{i = 1}^{n} {({\hat{y}}_{i} - y_{i})}^{2} (6)

R^{2} ({\hat{y}}_{i}, y_{i}) = 1 - \frac{\sum_{i = 1}^{n} {({\hat{y}}_{i} - y_{i})}^{2}}{\sum_{i = 1}^{n} {({\bar{y}}_{i} - y_{i})}^{2}} (7)

其中， ${\hat{y}}_{i}$ 为预测值，y_i为实际值， ${\bar{y}}_{i}$ 为y_i的中心值。为综合评估种群，引入式（5）~式（7）作为多目标函数，并采用权重系数转换法，给每个目标函数f_i(x)(i=1,2,3)赋予权重w_i(i=1,2,3)，通过式（4）得到评估该种群的适应度函数。

第四步，选择。选择操作的原则是个体适应度越大，被选择到下一代的机会越大。本文采用轮盘赌方式，即利用个体适应度计算其被选择的概率^[17]，根据概率决定该个体是否遗传到下一代。设个体i的适应度为上述某个目标函数值 f_i，种群规模为PS，则个体i被选择的概率为：

P_{i} = \frac{f_{i}}{\sum_{i = 1}^{PS} f_{i}} (8)

第五步，交叉与变异。对第四步选中的个体采用交叉算子、变异算子产生下一代个体。其中，交叉操作的目的是保留具有优良性状的基因，而变异操作的目的是增加基因的多样性，提高在解空间中找到全局最优解的概率。本文采用的变异概率范围为0.001~0.1。

第六步，算法终止判断。根据设定的最优解的阈值或迭代次数来判断算法是否终止，并将子代中具有最高适应度的个体对应的解向量作为全局最优解，输出该解。

第七步，代入最优解生成优化模型。将第六步搜索到的 n 维全局最优解向量 $S^{*} = [k_{1}^{*}, k_{2}^{*}, \dots, k_{j}^{*}, \dots, k_{n}^{*}]$ 代入隶属函数 $F^{k} (\cdot)$ 的参数集中，得到优化后的隶属函数 $F^{* k} (\cdot)$ 。为进一步提升模糊系统的可解释性，本文提出一种基于支持度（support degree， SD）的模糊规则约简方法，利用其减少规则数，进而提高模型可解释性。定义模糊规则i的支持度为：

SD (i) = (\sum_{j = 1}^{m} F_{j}^{s (i, j)} (x_{j}^{i})) \cdot F^{s (i)} (y^{i}) (9)

通过设置SD的阈值来限制“坏规则”加入规则库，从而使模糊系统规则数由R减少为R^*，故优化后的模糊系统如下：

y (x) = \frac{\sum_{i = 1}^{R^{*}} \prod_{j = 1}^{m} F_{j}^{* s (i, j)} (x_{j}) \cdot {\bar{y}}^{i}}{\sum_{i = 1}^{R^{*}} \prod_{j = 1}^{m} F_{j}^{* s (i, j)} (x_{j})} (10)

综上所述，GFS建模流程如图2所示。

图2

新窗口打开| 下载原图ZIP| 生成PPT

图2 GFS建模流程

5 实验结果与分析

本文采用的CCPP数据集是收集于某联合循环发电厂的9 568个数据点，共包含5个特征：每小时平均环境变量温度（AT）、环境压力（AP）、相对湿度（RH）、排气真空（V）和净每小时电能输出（PE），其中电能输出PE为待预测变量。

为了在回归预测问题上对提出的 GFS 进行评估，比较分析了其与径向基函数（radial basis function，RBF）神经网络^[18]、反向传播（back propagation，BP）神经网络^[19]、经典Wang-Mendel这3种方法的性能指标。根据上述3个目标函数的不同线性组合生成的GFS模型的优化效果不同，本文枚举出所有可能的线性组合，并介绍其中性能较佳的 3 种模型（GFS1、GFS2 与 GFS3）。以模型精度为设定依据，给出式（4）中的权重系数分配，见表1。

表1 3种模型的权重系数分配

模型	w₁	w₂	w₃
GFS1	0.167	0.333	0.5
GFS2	0.286	0.571	0.143
GFS3	0.5	0.333	0.167

新窗口打开| 下载CSV

实验结果表明，GFS3 收敛速度最快，优化时间最短。由上述权重系数分配生成适应度函数，并将种群初始化为 10 个个体，经过 100 次遗传迭代后，GFS1、GFS2与GFS3这3个模型的适应度变化曲线如图3所示。

图3

新窗口打开| 下载原图ZIP| 生成PPT

图3 GFSi适应度变化曲线

从图3可以看出，约在第80次迭代时，3种模型均收敛至最优值，这表示已找到全局最优解。收敛完成后的模型GFS1、GFS2与GFS3在标准数据集、加噪（高斯噪声，均值为0，标准偏差为0.12）数据集上进行测试。结果显示，WM方法的规则数为140，而GFSi的规则数仅为65。GFSi的预测精度与其他方法对比结果见表2、表3。

表2 标准数据集上的预测精度对比

算法/模型	MSE	MAE	R²
RBF	0.002 27	0.038 50	0.949 30
BP	0.002 46	0.039 90	0.945 00
WM	0.008 33	0.075 60	0.813 60
GFS1	0.006 11	0.062 20	0.863 30
GFS2	0.005 80	0.059 30	0.870 10
GFS3	0.005 80	0.058 90	0.870 30

新窗口打开| 下载CSV

表3 加噪数据集上的预测精度对比

算法/模型	MSE	MAE	R²
RBF	0.007 43	0.068 8	0.833 7
BP	0.007 74	0.071 8	0.827 0
WM	0.008 93	0.080 6	0.800 3
GFS1	0.006 93	0.064 6	0.845 0
GFS2	0.006 75	0.067 4	0.849 1
GFS3	0.006 19	0.061 5	0.861 6

新窗口打开| 下载CSV

由表2可以看出，GFSi在标准数据集上的预测精度均优于经典WM方法，但在精度方面仍与神经网络算法存在一定差距，这也是目前的模糊系统普遍存在的问题之一^[20]。而从表3 可以看出，GFSi的预测精度均优于RBF神经网络、BP神经网络，体现出了模糊系统抗噪能力强的优点。图4展示了GFSi和WM方法在标准数据集上的预测值与实际值的对比。

图4

新窗口打开| 下载原图ZIP| 生成PPT

图4 标准数据集的预测结果

图5

新窗口打开| 下载原图ZIP| 生成PPT

图5 加噪数据集的预测结果

以GFS3为例，图5展示了GFS3和RBF神经网络、BP 神经网络在加噪数据集上的预测值与实际值的对比。

由图4、图5可以看出，GFSi的预测精度明显优于经典WM方法，其中GFS3在加噪数据集上的拟合效果最佳，展现出了模糊系统强鲁棒性的优势。

6 结束语

本文针对传统模糊系统建模方法的弊端，提出一种基于改进遗传算法的模糊系统建模方法——GFS，并给出基于规则支持度的规则约简方法，减少了规则数，降低了模糊计算模型的复杂性。模糊建模实验表明，本文提出的方法在回归预测问题上的精度明显高于经典WM方法，并且抗噪能力优于RBF神经网络、BP神经网络算法，在充分发挥模糊系统可解释性、强鲁棒性的优势的同时保障了预测精度。

The authors have declared that no competing interests exist.

作者已声明无竞争性利益关系。

参考文献

原文顺序

文献年度倒序

文中引用次数倒序

被引期刊影响因子

[1]

阎岭, 郑洪涛, 蒋静坪 .

基于进化策略生成可解释性模糊系统

[J]. 电子学报, 2005,33(1): 70-73.

[本文引用: 2]

YAN

, ZHENG

H T

, JIANG

J P

Generation of interpretable fuzzy system based on evolution strategy

[J]. Acta Electronica Sinica, 2005,33(1): 70-73.

[本文引用: 2]

[2]

YANG

, ENTCHEV

Performance prediction of a hybrid microgeneration system using adaptive neuro-fuzzy inference system (ANFIS) technique

[J]. Applied Energy, 2014,134: 197-203.