制造业生产过程中多源异构数据处理方法综述

doi:10.11959/j.issn.2096-0271.2020044

大数据 ›› 2020, Vol. 6 ›› Issue (5): 55-81.doi: 10.11959/j.issn.2096-0271.2020044

制造业生产过程中多源异构数据处理方法综述

陈世超^1,²,崔春雨¹,张华³,马戈⁴,朱凤华¹,商秀芹¹,熊刚¹()

¹ 中国科学院自动化研究所复杂系统管理与控制国家重点实验室，北京 100190
² 澳门科技大学，澳门 999078
³ 北京航天智造科技发展有限公司，北京 100039
⁴ 中国工业互联网研究院，北京 100102

出版日期:2020-09-20 发布日期:2020-09-29
作者简介:陈世超（1987- ），男，澳门科技大学计算机技术及应用专业博士生，中国科学院自动化研究所复杂系统管理与控制国家重点实验室助理研究员，主要研究方向为数据处理、工业物联网、边缘计算|崔春雨（1998- ），女，就职于中国科学院自动化研究所复杂系统管理与控制国家重点实验室，主要研究方向为数据处理、边缘计算|张华（1986- ），女，博士，北京航天智造科技发展有限公司平台研发部高级工程师，主要研究方向为现代精密测量、工业物联网和边缘计算|马戈（1990- ），男，博士，中国工业互联网研究院智能化所工程师，主要研究方向为工业互联网、人工智能、边缘计算等|朱凤华（1976- ），男，博士，中国科学院自动化研究所复杂系统管理与控制国家重点实验室高级工程师，主要研究方向为人工交通系统、平行交通管理系统|商秀芹（1983- ），女，博士，中国科学院自动化研究所复杂系统管理与控制国家重点实验室助理研究员，主要研究方向为智能制造的数据驱动建模与优化技术|熊刚（1969- ），男，博士，中国科学院自动化研究所复杂系统管理与控制国家重点实验室研究员，主要研究方向为复杂系统平行控制与管理、智能制造、智能交通
基金资助:
国家重点研发计划基金资助项目(2018YFB1702701);国家自然科学基金资助项目(61773381);国家自然科学基金资助项目(U1909204);国家自然科学基金资助项目(U1811463);国家自然科学基金资助项目(61773382);国家自然科学基金资助项目(61533019);北京高等学校高水平人才交叉培养实培计划“智能边缘计算技术与设备”项目;东莞创新领军人才项目（熊刚）

A survey on multi-source heterogeneous data processing methods in manufacturing process

Shichao CHEN^1,²,Chunyu CUI¹,Hua ZHANG³,Ge MA⁴,Fenghua ZHU¹,Xiuqin SHANG¹,Gang XIONG¹()

¹ The State Key Laboratory for Management and Control for Complex Systems,Institute of Automation,Chinese Academy of Sciences,Beijing 100190,China
² Macau University of Science and Technology,Macau 999078,China
³ Beijing Aerospace Smart Manufacturing Technology Development,Beijing 100039,China
⁴ China Academy of Industrial Internet,Beijing 100102,China

Online:2020-09-20 Published:2020-09-29
Supported by:
The National Key Research and Development Program of China(2018YFB1702701);The National Natural Science Foundation of China(61773381);The National Natural Science Foundation of China(U1909204);The National Natural Science Foundation of China(U1811463);The National Natural Science Foundation of China(61773382);The National Natural Science Foundation of China(61533019);Practical Training Plan Project “Intelligent Edge Computing Technology and Device” of High-level Talents Cross-cultivation in Beijing Universities and Colleges;Dongguan’s Innovation Talents Project (XIONG Gang)

摘要/Abstract

摘要：

随着现代制造业向着自动化、信息化、智能化方向快速发展，生产过程中会产生大量的多源异构数据。对多源异构数据的有效处理和深度挖掘可为生产制造者提供更有效的生产调度、设备管理等策略，从而提高生产质量和效率。针对制造业生产过程中多源异构数据的处理方法与技术等进行系统性的综述，首先明确了制造业生产过程多源异构数据内容及分类；其次，阐述了多源异构数据处理中数据采集、数据集成及数据分析各个阶段应用的数据处理方法和技术，并分析了各种方法与技术的优缺点以及应用；最后，对生产过程中多源异构数据处理方法和技术进行总结，指出了现阶段多源异构数据处理方法及技术面临的挑战和发展趋势。

关键词: 数据处理, 多源异构数据, 生产制造

Abstract:

The effective processing and deep mining analysis of data can provide manufacturers with more effective production scheduling,equipment management and other strategies to affect production yield and efficiency.The processing methods and technologies of multi-source heterogeneous data in the manufacturing process were systematically reviewed.Firstly,the multi-source heterogeneous data content and classification in the manufacturing process was clarified.Secondly,the data processing methods and techniques applied in various stages of data collection,data integration and data analysis in the multi-source heterogeneous data processing were described.And the advantages and disadvantages of various techniques and their applications were analyzed.Finally,the multi-source heterogeneous data processing methods and techniques in the manufacturing process were summarized.And the challenges and development trends were pointed out.

Key words: data processing, multi-source heterogeneous data, manufacturing

中图分类号:

TP391

陈世超, 崔春雨, 张华, 马戈, 朱凤华, 商秀芹, 熊刚. 制造业生产过程中多源异构数据处理方法综述[J]. 大数据, 2020, 6(5): 55-81.

Shichao CHEN, Chunyu CUI, Hua ZHANG, Ge MA, Fenghua ZHU, Xiuqin SHANG, Gang XIONG. A survey on multi-source heterogeneous data processing methods in manufacturing process[J]. Big Data Research, 2020, 6(5): 55-81.

图/表 5

图1

表1

图2

表2

表3

参考文献 118

[27]	沈波 . DB2数据库在宝钢炼焦自动化的应用和实践[C]// 全国冶金自动化信息网2016年会论文集. 出版地未知:出版者未知, 2016.
	SHEN B , . Application and practice of DB2 database in Baosteel coking automation[C]// The 2016 Annual Meeting of National Metallurgical Automation Information Network.[S.l.:s.n]. 2016.
[28]	申德荣, 于戈, 王习特 ,等. 支持大数据管理的NoSQL系统研究综述[J]. 软件学报, 2013,24(8): 1786-1803.
	SHEN D R , YU G , WANG X T ,et al. Review of research on NoSQL system supporting big data management[J]. Journal of Software, 2013,24(8): 1786-1803.
[29]	陈森利, 吴福疆, 林洪浩 ,等. 电力计量采集系统中分布式缓存系统研究[J]. 信息技术 2014(7): 70-73,77.
	CHEN S L , WU F J , LIN H H ,et al. Research on distributed cache system in power measurement acquisition system[J]. Information Technology, 2014(7): 70-73
[30]	熊肖磊, 王春伟, 赵炯 ,等. 基于Redis与SSM的大型设备数据运用系统设计[J]. 现代机械, 2018(6): 29-34.
	XIONG X L , WANG C W , ZHAO J ,et al. Design of large equipment data application system based on Redis and SSM[J]. Modern Machinery, 2018(6): 29-34.
[31]	孟云侠 . 基于HBase的分布式电源控制系统研究[J]. 电源技术, 2017,41(9): 1366-1368.
	MENG Y X . Research on distributed power control system based on HBase[J]. Power Technology, 2017,41(9): 1366-1368.
[32]	冯德伦 . MongoDB在存储与分析工业时间序列数据中的应用[J]. 自动化与仪器仪表, 2018(9): 141-144.
	FENG D L . Application of MongoDB in storage and analysis of industrial time series data[J]. Automation and Instrumentation, 2018(9): 141-144.
[33]	任会民, 杨旭辉, 刘宪红 ,等. 关于混凝土行业MongoDB数据库应用的研究[J]. 科技与创新, 2018(20): 38-39,42.
	REN H M , YANG X H , LIU X H ,et al. Research on application of MongoDB database in concrete industry[J]. Science and Innovation, 2018(20): 38-39
[34]	赵越, 李培, 王震 ,等. 电网图形数据管理MongoDB数据库的应用[J]. 计算机系统应用, 2017,26(3): 239-243.
	ZHAO Y , LI P , WNAG Z ,et al. Application of MongoDB database for graphic data management of power grid[J]. Application of Computer Systems, 2017,26(3): 239-243.
[35]	冯德伦 . 一种以NoSQL数据库为核心的工业历史数据存储方案[J]. 自动化与仪器仪表, 2018(8): 60-63.
	FENG D L . An industrial historical data storage solution based on NoSQL database[J]. Automation and Instrumentation, 2018(8): 60-63.
[36]	赵德基, 王力, 狄军峰 . 基于Dubbo+NoSQL的工业领域大数据平台研究[J]. 数字技术与应用, 2017(7): 64-67.
	ZHAO D J , WANG L , DI J F . Research on big data platform in industrial field based on Dubbo+NoSQL[J]. Digital Technology and Application, 2017(7): 64-67.
[1]	李少波, 陈永前 . 大数据环境下制造业关键技术分析[J]. 电子技术应用, 2017,43(2): 18-21,25.
	LI S B , CHEN Y Q . Analysis of key technologies of manufacturing industry in big data environment[J]. Electronic Technology Application, 2017,43(2): 18-21,25.
[37]	文棒棒, 曾献辉 . 面向工业4.0的多表架构与NoSQL大数据集成的数据存储策略研究[J]. 微型机与应用, 2016,35(18): 6-9.
	WEN B B , ZENG X H . Research on data storage strategies for multitable architecture and NoSQL big data integration for Industry 4.0[J]. Microcomputer ＆ Application, 2016,35(18): 6-9.
[2]	McKinsey＆Company.Big data:the next frontier for innovation,competition,and productivity[M]. New York: McKinsey Global InstitutePress, 2011: 1-28.
[3]	BIRNET E . The making of ENCODE:lessons for big-data projects[J]. Nature, 2012(489): 49-51.
[38]	ASLETT M . What’s really new with NewSQL?[J]. ACM, 2016,45(2): 45-55.
[39]	雷宇辉, 钟雯, 何清 ,等. NoSQL数据库研究文献综述[J]. 电子世界, 2017(4): 11-12.
[4]	李黎, 华奎, 姜昀芃 ,等. 输电线路多源异构数据处理关键技术研究综述[J]. 广东电力, 2018,31(8): 124-133.
	LI L , HUA K , JIANG Y P ,et al. Review of research on key technologies for multisource heterogeneous data processing of transmission lines[J]. Guangdong Electric Power, 2018,31(8): 124-133.
[39]	LEI Y H , ZHONG W , HE Q ,et al. Literature review of NoSQL database research[J]. Electronic World, 2017(4): 11-12.
[40]	李东奎, 鄂海红 . 基于Hibernate OGM的SQL与NoSQL数据库的统一访问模型的设计与实现[J]. 软件, 2016,37(11): 14-18.
[5]	李亢, 李新明, 刘东 . 多源异构装备数据集成研究综述[J]. 中国电子科学研究院学报, 2015,10(2): 162-168.
	LI K , LI X M , LIU D . Review of research on multi-source heterogeneous equipment data integration[J]. Journal of China Academy of Electronics and Information Technology, 2015,10(2): 162-168.
[40]	LI D K , E H H . Design and implementation of unified access model for SQL and NoSQL databases based on Hibernate OGM[J]. Software, 2016,37(11): 14-18.
[41]	陈彤 . 多源异构海量石油数据的数据清洗技术研究[D]. 青岛:中国石油大学(华东), 2017.
[6]	张春红 . 基于XML的异构数据库集成技术研究[J]. 廊坊师范学院学报(自然科学版), 2014,14(4): 29-30,43.
	ZHANG C H . Research on XML-based heterogeneous database integration technology[J]. Journal of Langfang Teachers College (Natural Science Edition), 2014,14(4): 29-30,43.
[41]	CHEN T . Research on data cleaning technology of multi-source heterogeneous massive oil data[D]. Qingdao:China University of Petroleum (East China), 2017.
[42]	杨尚林 . 基于机器学习的多源异构大数据清洗技术研究[D]. 南宁:广西大学, 2017.
[7]	陈彦萍, 郭超, 杨为惠 . 面向生产过程的异构数据服务描述语言IO-DSDL的设计与实现[J]. 计算机与数字工程, 2018,46(5): 976-980.
	CHEN Y P , GUO C , YANG W H . Design and implementation of production process-oriented heterogeneous data service description language IO-DSDL[J]. Computer and Digital Engineering, 2018,46(5): 976-980.
[42]	YANG S L . Research on multi-source heterogeneous big data cleaning technology based on machine learning[D]. Nanning:Guangxi University, 2017.
[43]	曹林 . 基于统计学习的数据预处理缺失值清洗方法研究[D]. 哈尔滨:哈尔滨工程大学, 2012.
[8]	袁爱进, 岳滨楠, 闫鑫 ,等. 工业大数据的应用与实践[J]. 大数据, 2017,3(6): 27-41.
	YUAN A J , YUE B N , YAN X ,et al. Application and practice of industrial big data[J]. Big Data Research, 2017,3(6): 27-41.
[43]	CAO L . Research on data preprocessing missing value cleaning method based on statistical learning[D]. Harbin:Harbin Engineering University, 2012.
[44]	杜岳峰, 申德荣, 聂铁铮 ,等. 基于关联数据的一致性和时效性清洗方法[J]. 计算机学报, 2017,40(1): 92-106.
[9]	顾新建, 代风, 杨青海 ,等. 制造业大数据顶层设计的内容和方法(上篇)[J]. 成组技术与生产现代化, 2015,32(4): 12-17.
	GU X J , DAI F , YANG Q H ,et al. Contents and methods of top-level design of manufacturing big data (Part 1)[J]. Group Technology and Production Modernization, 2015,32(4): 12-17.
[44]	DU Y F , SHEN D R , NIE T Z ,et al. Consistency and timeliness cleaning method based on connected data[J]. Chinese Journal of Computers, 2017,40(1): 92-106.
[45]	周瀚章, 冯广, 龚旭辉 ,等. 基于大数据的ETL中的数据清洗方案研究[J]. 工业控制计算机, 2018,31(12): 108-110.
[10]	徐颖, 李莉 . 制造业大数据的发展与展望[J]. 信息与控制, 2018,47(4): 421-427.
	XU Y , LI L . Development and prospect of manufacturing big data[J]. Information and Control, 2018,47(4): 421-427.
[45]	ZHOU H Z , FENG G , GONG X H ,et al. Research on data cleaning scheme in ETL based on big data[J]. Industrial Control Computer, 2018,31(12): 108-110.
[46]	孙安健, 王星, 闫晓瑜 . 通用ETL工具的研究与实现[J]. 计算机应用与软件, 2012,29(12): 175-178,210.
[11]	李涛, 曾春秋, 周武柏 ,等. 大数据时代的数据挖掘——从应用的角度看大数据挖掘[J]. 大数据, 2015,1(4): 57-80.
	LI T , ZENG C Q , ZHOU W B ,et al. Data mining in the big data era-viewing big data mining from the perspective of applications[J]. Big Data Research, 2015,1(4): 57-80.
[46]	SUN A J , WANG X , YAN X Y . Research and implementation of general ETL tools[J]. Journal of Computer Applications and Software, 2012,29(12): 175-178,210.
[47]	陈玉东, 姚青 . 基于商务智能的流程评估系统中ETL的研究[J]. 计算机工程与设计, 2014,35(8): 2752-2756.
	CHEN Y D , YAO Q . Research on ETL in process evaluation system based on business intelligence[J]. Computer Engineering and Design, 2014,35(8): 2752-2756.
[48]	余杰, 王睿 . 面向离散制造的RFID数据清洗方法研究[J]. 制造业自动化, 2018,40(6): 86-89,122.
	YU J , WANG R . Research on RFID data cleaning method for discrete manufacturing[J]. Manufacturing Automation, 2018,40(6): 86-89
[49]	蓝波, 吴昊, 王一泽 ,等. 基于制造物联的生产数据采集与应用技术研究[J]. 电子设计工程, 2017,25(17): 21-25,30.
[12]	智能制造时代的工业大数据分析——基于物联网的八大工业大数据与应用场景[J]. 智慧工厂, 2015(11): 42-44.
	Industrial big data analysis in the age of intelligent manufacturing:eight industrial big data and application scenarios based on the internet of things[J]. Smart Factory, 2015(11): 42-44.
[49]	LAN B , WU H , WANG Y Z ,et al. Research on production data acquisition and application technology based on manufacturing Internet of things[J]. Electronic Design Engineering, 2017,25(17): 21-25,30.
[50]	郝爽, 李国良, 冯建华 ,等. 结构化数据清洗技术综述[J]. 清华大学学报(自然科学版), 2018,58(12): 1037-1050.
[13]	张洋洋, 陈进 . 基于RFID的离散制造车间实时数据采集系统的设计与实现[J]. 江南大学学报(自然科学版), 2013,12(1): 54-58.
	ZHANG Y Y , CHEN J . Design and implementation of RFID-based realtime data acquisition system for discrete manufacturing workshop[J]. Journal of Jiangnan University (Natural Science Edition), 2013,12(1): 54-58.
[50]	HAO S , LI G L , FENG J H ,et al. Overview of structured data cleaning technology[J]. Journal of Tsinghua University (Science and Technology), 2018,58(12): 1037-1050.
[51]	万耀璘, 徐晴雯, 廖彬超 ,等. 众包在城市规划的应用与展望[J]. 清华大学学报(自然科学版), 2019(5): 1-8.
[14]	商秀芹, 李梦瑶, 熊刚 ,等. 面向孵化器行业的云计算与大数据服务平台[J]. 软件, 2017,38(6): 1-6.
	SHANG X Q , LI M Y , XIONG G ,et al. Cloud computing and big data service platform for incubator industry[J]. Software, 2017,38(6): 1-6.
[51]	WAN Y L , XU Q W , LIAO B C ,et al. Application and prospect of crowdsourcing in urban planning[J]. Journal of Tsinghua University (Science and Technology), 2019(5): 1-8.
[52]	陈建华 . 基于关联关系与启发式搜索的特征选择在银行设备故障定位中的应用[J]. 北京:中国科技论文在线, 2014
[15]	许周祥, 陈绪兵, 王瑜辉 ,等. RFID技术在智能化生产线中的应用[J]. 机械工程与自动化, 2017(4): 138-139,141.
	XU Z X , CHEN X B , WANG Y H ,et al. Application of RFID technology in intelligent production line[J]. Mechanical Engineering and Automation, 2017(4): 138-139,141.
[52]	CHEN J H . Application of feature selection based on association and heuristic search in bank equipment fault location[J]. Beijing:China Science and Technology Papers Online, 2014
[53]	田文萌 . 基于特征选择的产品关键质量特征识别方法研究[D]. 天津:天津大学, 2013.
[16]	曹伟, 江平宇, 江开勇 ,等. 基于RFID技术的离散制造车间实时数据采集与可视化监控方法[J]. 计算机集成制造系统, 2017,23(2): 273-284.
	CAO W , JIAGN P Y , JIANG K Y ,et al. Real-time data acquisition and visual monitoring method for discrete manufacturing workshop based on RFID technology[J]. Computer Integrated Manufacturing System, 2017,23(2): 273-284.
[53]	TIAN W M . Research on product key quality feature recognition method based on feature selection[D]. Tianjin:Tianjin University, 2013.
[54]	刘海军, 单维锋, 张莉丽 ,等. 基于主成分分析法的本色布疵点分类算法[J]. 毛纺科技, 2019,47(2): 70-73.
[17]	陈开胜 . 制造业数据采集技术探究[J]. 开封大学学报, 2017,31(2): 93-96.
	CHEN K S . Research on manufacturing industry data acquisition technology[J]. Journal of Kaifeng University, 2017,31(2): 93-96.
[54]	LIU H J , SHAN W F , ZHANG L L ,et al. Classification algorithm of natural fabric defects based on principal component analysis[J]. Woolen Textile Technology, 2019,47(2): 70-73.
[55]	郭凤仪, 高洪鑫, 王智勇 ,等. 基于ST-SVDPCA的串联故障电弧特征提取方法[J]. 煤炭学报, 2018,43(3): 888-896.
[18]	刘少锋, 陈晓艳, 张宇辉 . 霍尼韦尔SCADA系统在城市燃气管网中的应用[J]. 江苏科技信息, 2017(12): 56-57,60.
	LIU S F , CHEN X Y , ZHANG Y H . Application of Honeywell SCADA system in urban gas pipeline network[J]. Jiangsu Science and Technology Information, 2017(12): 56-57,60.
[55]	GUO F Y , GAO H X , WANG Z Y ,et al. Feature extraction method of series fault arc based on ST-SVD-PCA[J]. Journal of China Coal Society, 2018,43(3): 888-896.
[56]	姚菲 . 制造业备件库存管理优化体系研究与应用[D]. 北京:北京邮电大学, 2014.
[19]	陈飞, 艾中良 . 基于Flume的分布式日志采集分析系统设计与实现[J]. 软件, 2016,37(12): 82-88.
	CHEN F , AI Z L . Design and implementation of a distributed log collection and analysis system based on flume[J]. Software, 2016,37(12): 82-88.
[56]	YAO F . Research and application of manufacturing spare parts inventory management optimization system[D]. Beijing:Beijing University of Posts and Telecommunications, 2014.
[57]	肖迎群, 何怡刚, 刘继乾 ,等. 基于主元和判别集成分析的模拟电路故障诊断[J]. 控制与决策, 2015,30(7): 1321-1324.
[20]	刘岩, 王华, 秦叶阳 ,等. 智慧城市多源异构大数据处理框架[J]. 大数据, 2017,3(1): 51-60.
	LIU Y , WANG H , QIN Y Y ,et al. Multi-source heterogeneous big data processing framework for smart cities[J]. Big Data Research, 2017,3(1): 51-60.
[57]	XIAO Y Q , HE Y G , LIU J Q ,et al. Fault diagnosis of analog circuits based on principal component and discriminant integration analysis[J]. Control and Decision, 2015,30(7): 1321-1324.
[58]	杨金堂, 林孝毅, 杨正群 ,等. 废旧铅酸蓄电池的X射线图像识别分类研究[J]. 机械设计与制造, 2017(10): 156-158,163.
[21]	李凤娇 . 基于海康视频监控系统的目标检测和跟踪[D]. 济南:济南大学, 2014.
	LI F J . Target detection and tracking based on Haikang video surveillance system[D]. Jinan:Jinan University, 2014.
[58]	YANG J T , LIN X Y , YANG Z Q ,et al. The study of X-ray image recognition and classification of used lead-acid batteries[J]. Machinery Design ＆Manufacture, 2017(10): 156-158,163.
[59]	杨冲, 宋留, 刘鸿斌 . 基于独立元分析的制浆造纸废水处理过程故障检测[J]. 中国造纸学报, 2019,34(1): 66-72.
[22]	马吉军, 贾雪琴, 寿颜波 ,等. 基于边缘计算的工业数据采集[J]. 信息技术与网络安全, 2018,37(4): 91-93.
	MA J J , JIA X Q , SHOU Y B ,et al. Industrial data acquisition based on edge computing[J]. Information Technology and Network Security, 2018,37(4): 91-93.
[59]	YANG C , SONG L , LIU H B . Fault detection of pulp and papermaking wastewater treatment process based on independent element analysis[J]. Journal of China Paper Society, 2019,34(1): 66-72.
[60]	姜怀斌 . 基于Fisher判别分析的间歇过程故障诊断研究[D]. 哈尔滨:哈尔滨理工大学, 2018.
[23]	许瀚之, 杨小健 . 基于VPN的远程工业数据采集解决方案的实现与设计[J]. 上海交通大学学报, 2016,50(12): 1866-1872,1888.
	XU H Z , YANG X J . Implementation and design of a remote industrial data acquisition solution based on VPN[J]. Journal of Shanghai Jiaotong University, 2016,50(12): 1866-1872,1888.
[60]	JIANG H B . Research on fault diagnosis of batch process based on fisher discriminant analysis[D]. Harbin:Harbin University of Science and Technology, 2018.
[61]	SCHOLKOPF B , SMOLA A , MULLER K R . Nonlinear component analysis as a kernel eigenvalue problem[J]. Neural Computation, 1998,10(5): 1299-1319.
[24]	李若新 . Oracle数据库技术在钢铁企业中的一般应用[J]. 数字通信世界, 2019(5):192.
	LI R X . General application of oracle database technology in iron and steel enterprises[J]. World of Digital Communications, 2019(5):192.
[62]	谢锋云, 陈红年, 谢三毛 ,等. 基于粒子群优化核主元分析的轴承状态识别[J]. 测控技术, 2018,37(3): 28-31,35.
	XIE F Y , CHEN H N , XIE S M ,et al. Bearing state recognition based on particle swarm optimization kernel principal component analysis[J]. Measurement and Control Technology, 2018,37(3): 28-31,35.
[25]	刘建庆 . 探讨煤炭企业中ORACLE数据库的应用[J]. 电子世界, 2015(18): 43-44.
	LIU J Q . Discussion on the application of ORACLE database in coal enterprises[J]. Electronic World, 2015(18): 43-44.
[63]	贺妍, 王宗彦 . 基于PSO-FC优化KPCA的特征提取及行星齿轮磨损损伤程度识别[J]. 机械传动, 2019,43(2): 137-143.
	HE Y , WANG Z Y . Feature extraction of KPCA based on PSO-FC optimization and recognition of wear and damage of planetary gears[J]. Mechanical Transmission, 2019,43(2): 137-143.
[26]	郭宇 . 大数据时代下Oracle数据库在汽车制造业MIS系统中的应用[J]. 计算机光盘软件与应用, 2015,18(1): 169-170.
	GUO Y . Application of oracle database in MIS system of automobile manufacturing industry in the big data era[J]. Computer CD-ROM Software and Application, 2015,18(1): 169-170.
[64]	刘嘉辉, 董辛旻, 李剑飞 . 基于ITD-KICA盲分离降噪的滚动轴承故障特征提取[J]. 机械传动, 2018,42(1): 83-87.
	LIU J H , DONG X M , LI J F . Feature extraction of rolling bearing faults based on ITD-KICA blind separation and noise reduction[J]. Mechanical Transmission, 2018,42(1): 83-87.
[65]	许亮, 程良伦, 黄志平 . 基于混合函数的KICA-LSSVM故障分类方法及应用[J]. 化工自动化及仪表, 2010,37(3): 14-18.
	XU L , CHENG L L , HUANG Z P . KICALSSVM fault classification method based on mixed function and its application[J]. Chemical Industry Automation and Instruments, 2010,37(3): 14-18.
[66]	张守利, 苏申, 刘晨 ,等. 面向发电设备预测性维护的传感数据特征抽取方法[J]. 太原理工大学学报, 2018,49(1): 79-85.
	ZHANG S L , SU S , LIU C ,et al. Feature extraction method of sensor data for predictive maintenance of power generation equipment[J]. Journal of Taiyuan University of Technology, 2018,49(1): 79-85.
[67]	MIAO A M , SONG Z H , GE Z Q ,et al. Nonlinear fault detection based on locally linear embedding[J]. Journal of Control Theory and Applications, 2013,11(4): 615-622.
[68]	SHANG C , YANG F , HUANG D X ,et al. Data-driven soft sensor development based on deep learning technique[J]. Journal of Process Control, 2014,24(3).
[69]	王宏志, 梁志宇, 李建中 ,等. 工业大数据分析综述:模型与算法[J]. 大数据, 2018,4(5): 62-79.
	WANG H Z , LIANG Z Y , LI J Z ,et al. Survey on industrial big data analysis:models and algorithms[J]. Big Data Research, 2018,4(5): 62-79.
[70]	梁志宇, 王宏志, 李建中 ,等. 制造业中的大数据分析技术应用研究综述[J]. 机械, 2018,45(6): 1-13.
	LIANG Z Y , WANG H Z , LI J Z ,et al. A review on the application of big data analysis in manufacturing industry[J]. Machinery, 2018,45(6): 1-13.
[71]	樊虹 . 工业过程报警的关联规则挖掘方法及应用[D]. 北京:北京化工大学, 2016.
	FAN H . Mining method and application of association rules for industrial process alarms[D]. Beijing:Beijing University of Chemical Technology, 2016.
[72]	周凯, 顾洪博, 李爱国 . 基于关联规则挖掘Apriori算法的改进算法[J]. 陕西理工大学学报(自然科学版), 2018,34(5): 40-44.
	ZHOU K , GU H B , LI A G . Improved Apriori algorithm based on association rule mining[J]. Journal of Shaanxi University of Technology (Natural Science Edition), 2018,34(5): 40-44.
[73]	刘芳, 吴广潮 . 一种基于压缩矩阵的改进Apriori算法[J]. 山东大学学报(工学版), 2018,48(6): 82-88.
	LIU F , WU G C . An improved Apriori algorithm based on compression matrix[J]. Journal of Shandong University (Engineering Science), 2018,48(6): 82-88.
[74]	张斌, 滕俊杰, 满毅 . 改进的并行FP-Growth算法在工业设备故障诊断中的应用研究[J]. 计算机科学, 2018,45(S1): 508-512.
	ZHANG B , TENG J J , MAN Y . Application of improved parallel fpgrowth algorithm in fault diagnosis of industrial equipment[J]. Journal of Frontiers of Computer Science, 2018,45(S1): 508-512.
[75]	李敏波, 丁铎, 易泳 . 基于FP-Growth改进算法的轮胎质量数据分析[J]. 中国机械工程, 2019,30(2): 244-251.
	LI M B , DING D , YI Y . Analysis of tire quality data based on FP-Growth improved algorithm[J]. China Mechanical Engineering, 2019,30(2): 244-251.
[76]	顾军华, 武君艳, 许馨匀 ,等. 基于Spark的并行FP-Growth算法优化及实现[J]. 计算机应用, 2018,38(11): 3069-3074.
	GU J H , WU J Y , XU X Y ,et al. Optimization and implementation of parallel FP-Growth algorithm based on Spark[J]. Journal of Computer Applications, 2018,38(11): 3069-3074.
[77]	HIDBER C , . Online association rule mining[C]// ACM SIGMOD International conference on Management of Data. New York:ACM Press, 1999.
[78]	于丽, 刘艳君, 丁锋 . CARMA模型多新息增广随机梯度参数估计算法的收敛性[J]. 系统工程与电子技术, 2009,31(6): 1446-1449.
	YU L , LIU Y J , DING F . Convergence of multi-innovation augmented stochastic gradient parameter estimation algorithm for CARMA model[J]. Systems Engineering and Electronics, 2009,31(6): 1446-1449.
[79]	王成龙 . 基于数据挖掘技术的生产调度问题研究[D]. 杭州:浙江大学, 2015.
	WANG C L . Research on production scheduling based on data mining technology[D]. Hangzhou:Zhejiang University, 2015.
[80]	于艺浩 . 基于数据的车间实时调度系统的研究与开发[D]. 沈阳:沈阳工业大学, 2013.
	YU Y H . Research and development of real-time scheduling system based on data[D]. Shenyang:Shenyang University of Technology, 2013.
[81]	郭龙波 . 基于数据挖掘方法的冷轧表面质量缺陷分析[D]. 马鞍山:安徽工业大学, 2012.
	GUO L B . Analysis of cold rolled surface quality defects based on data mining method[D]. Maanshan:Anhui University of Technology, 2012.
[82]	宋建聪 . 数据挖掘在装备制造业质量管理中的应用研究[D]. 广州:广东工业大学, 2013.
	SONG J C . Research on the application of data mining in equipment manufacturing quality management[D]. Guangzhou:Guangdong University of Technology, 2013.
[83]	许明洋 . 分类算法在能耗分析系统中的应用场景研究及实现[D]. 北京:北京邮电大学, 2016.
	XU M Y . Research and implementation of classification algorithm in energy consumption analysis system[D]. Beijing:Beijing University of Posts and Telecommunications, 2016.
[84]	周福来 . 基于BP神经网络的齿轮设备故障诊断应用[J]. 电子技术与软件工程, 2019(10): 139-141.
	ZHOU F L . Application of gear device fault diagnosis based on BP neural network[J]. Electronic Technology and Software Engineering, 2019(10): 139-141.
[85]	张细政, 郑亮, 刘志华 . 基于遗传算法优化BP神经网络的风机齿轮箱故障诊断[J]. 湖南工程学院学报(自然科学版), 2018,28(3): 1-6.
	ZHANG X Z , ZHENG L , LIU Z H . Fault diagnosis of fan gearbox based on genetic algorithm to optimize BP neural network[J]. Journal of Hunan Institute of Engineering (Natural Science Edition), 2018,28(3): 1-6.
[86]	关子奇, 朱玉龙, 刘晓光 ,等. 基于GA优化BP神经网络的焊接熔池照度建模[J]. 热加工工艺, 2019,48(7): 216-220,223.
	GUAN Z Q , ZHU Y L , LIU X G ,et al. Modeling of welding pool illumination based on GA optimized BP neural network[J]. Hot Working Technology, 2019,48(7): 216-220,223.
[87]	夏颖怡 . 基于GA-BP神经网络的刀具寿命预测研究[J]. 精密制造与自动化, 2017(2): 9-11.
	XIA Y Y . Research on tool life prediction based on GA-BP neural network[J]. Precision Manufacturing and Automation, 2017(2): 9-11.
[88]	李世科 . 基于LM-BP神经网络的液压支架顶梁疲劳寿命预测及应用[J]. 中国矿业, 2019,28(5): 92-96.
	LI S K . Fatigue life prediction and application of the top support of hydraulic support based on LM-BP neural network[J]. China Mining Industry, 2019,28(5): 92-96.
[89]	罗校清 . 基于人工神经网络的工业机械故障诊断优化方法研究[J]. 科技创新与应用, 2017(30): 106-107,110.
	LUO X Q . Research on optimization method of industrial machinery fault diagnosis based on artificial neural network[J]. Science ＆ Technology Innovation and Application, 2017(30): 106-107,110.
[90]	HINTON G E , OSINDERO S , THE Y W . A fast learning algorithm for deep belief nets[J]. Neural Computation, 2006,18(7): 1527-1554.
[91]	JI S W , XU W , YANG M ,et al. 3D convolutional neural networks for human action recognition[C]// IEEE Transactions on Pattern Analysis and Machine Intelligence. Piscataway:IEEE Press, 2013.
[92]	DAHL G E , YU D , DENG L . Contextdependent pre-trained deep neural networks for large-vocabulary speech recognition[C]// IEEE Transactions on Audio Speech and Language Processing. Piscataway:IEEE Press, 2012.
[93]	李嘉琳, 何巍华, 曲永志 . PSO优化深度神经网络诊断齿轮早期点蚀故障[J]. 东北大学学报(自然科学版), 2019,40(7): 974-979.
	LI J L , HE W H , QU Y Z . PSO-optimized deep neural network for diagnosis of early pitting corrosion of gears[J]. Journal of Northeastern University (Natural Science), 2019,40(7): 974-979.
[94]	刘胜辉, 张人敬, 张淑丽 ,等. 基于深度神经网络的切削刀具剩余寿命预测[J]. 哈尔滨理工大学学报, 2019,24(3): 1-8.
	LIU S H , ZHANG R J , ZHANG S L ,et al. Prediction of remaining life of cutting tools based on deep neural networks[J]. Journal of Harbin University of Science and Technology, 2019,24(3): 1-8.
[95]	曹大理, 孙惠斌, 张纪铎 ,等. 基于卷积神经网络的刀具磨损在线监测[J]. 计算机集成制造系统, 2020(1): 1-12.
	CAO D L , SUN H B , ZHANG J D ,et al. Tool wear online monitoring based on convolutional neural network[J]. Computer Integrated Manufacturing System, 2020(1): 1-12.
[96]	吴志洋, 卓勇, 李军 ,等. 基于卷积神经网络的单色布匹瑕疵快速检测算法[J]. 计算机辅助设计与图形学学报, 2018,30(12): 2262-2270.
	WU Z Y , ZHUO Y , LI J ,et al. A fast algorithm for detecting defects in monochrome cloths based on convolutional neural networks[J]. Journal of Computer-Aided Design ＆ Computer Graphics, 2018,30(12): 2262-2270.
[97]	彭大芹, 刘恒, 许国良 ,等. 基于双向特征融合卷积神经网络的液晶面板缺陷检测算法[J]. 广东通信技术, 2019,39(4): 66-73.
	PENG D Q , LIU H , XU G L ,et al. Defect detection algorithm of liquid crystal panel based on bidirectional featurefusion convolution neural network[J]. Guangdong Communication Technology, 2019,39(4): 66-73.
[98]	李广, 杨欣 . 结合深度学习的工业大数据应用研究[J]. 大数据, 2018,4(5): 6-17.
	LI G , YANG X . An industrial big data application research using deep learning[J]. Big Data Research, 2018,4(5): 6-17.
[99]	王文广, 赵文杰 . 基于GRU神经网络的燃煤电站NO_x排放预测模型[J]. 华北电力大学学报(自然科学版), 2020(1): 1-9.
	WANG W G , ZHAO W J . Prediction model of NO_xemissions from coal-fired power stations based on GRU neural network[J]. Journal of North China Electric Power University(Natural Science Edition), 2020(1): 1-9.
[100]	李俊峰 . 基于循环神经网络和蝙蝠算法的变压器故障诊断[J]. 电工技术, 2018(20): 38-41.
	LI J F . Transformer fault diagnosis based on recurrent neural network and bat algorithm[J]. Electrical Engineering Technology, 2018(20): 38-41.
[101]	王宪保, 李洁, 姚明海 ,等. 基于深度学习的太阳能电池片表面缺陷检测方法[J]. 模式识别与人工智能, 2014,27(6): 517-523.
	WANG X B , LI J , YAO M H ,et al. Surface defect detection method of solar cells based on deep learning[J]. Pattern Recognition and Artificial Intelligence, 2014,27(6): 517-523.
[102]	李梦诗, 余达, 陈子明 ,等. 基于深度置信网络的风力发电机故障诊断方法[J]. 电机与控制学报, 2019,23(2): 114-122.
	LI M S , YU D , CHEN Z M ,et al. Fault diagnosis method for wind turbines based on deep confidence network[J]. Journal of Electrical Engineering and Control, 2019,23(2): 114-122.
[103]	刘浩, 熊炘, 周辰 ,等. 多参数优化深度置信网络的滚动轴承外圈损伤程度识别[J]. 轴承, 2018(12): 43-48.
	LIU H , XIONG X , ZHOU C ,et al. Identification of damage degree of outer ring of rolling bearing based on multiparameter optimized deep confidence network[J]. Bearing, 2018(12): 43-48.
[104]	KHALILIA M , CHAKRABORTY S , POPESCU M . Predicting disease risks from highly imbalanced data using random forest[J]. BMC Medical Informatics and Decision Making, 2011,11(1): 51-63.
[105]	吕震宇 . 磷虾算法优化多分类支持向量机的轴承故障诊断[J]. 制造技术与机床, 2019(5): 130-136.
	LYU Z Y . Multi-class support vector machine optimized by Krilling algorithm for bearing fault diagnosis[J]. Manufacturing Technology and Machine Tool, 2019(5): 130-136.
[106]	吕维宗, 王海瑞, 舒捷 . 量子粒子群算法优化相关向量机的轴承故障诊断[J]. 计算机应用与软件, 2019,36(1): 6-11,16.
	LYU W Z , WANG H R , SHU J . Bearing fault diagnosis of correlation vector machine optimized by quantum particle swarm optimization[J]. Computer Applications and Software, 2019,36(1): 6-11,16.
[107]	NG S S Y , XING Y J , TSUI K L . A naive Bayes model for robust remaining useful life prediction of lithium-ion battery[J]. Applied Energy, 2014:118.
[108]	李梦婷, 赵帅, 陈绍炜 ,等. 基于增量贝叶斯学习模型的在线电路故障诊断[J]. 计算机应用与软件, 2018,35(6): 70-75.
	LI M T , ZHAO S , CHEN S W ,et al. Online circuit fault diagnosis based on incremental Bayesian learning model[J]. Journal of Computer Applications and Software, 2018,35(6): 70-75.
[109]	娄小芳 . 基于模式识别和数据挖掘的铝工业生产节能降耗研究[D]. 长沙:国防科学技术大学, 2010.
	LOU X F . Research on energy saving and consumption reduction of aluminum industry production based on pattern recognition and data mining[D]. Changsha:National University of Defense Technology, 2010.
[110]	URTUBIA A , PéREZ-CORREA J R , SOTO A ,et al. Using data mining techniques to predict industrial wine problem fermentations[J]. Food Control, 2007,18(12): 1510-1517.
[111]	徐健锐, 詹永照 . 基于Spark的改进K-means快速聚类算法[J]. 江苏大学学报(自然科学版), 2018,39(3): 316-323.
	XU J R , ZHAN Y Z . Improved K-means fast clustering algorithm based on Spark[J]. Journal of Jiangsu University (Natural Science Edition), 2018,39(3): 316-323.
[112]	林涛, 马同宽, 秦冬阳 ,等. 基于改进DBSCAN算法的风机故障诊断研究[J]. 现代电子技术, 2018,41(21): 146-149,155.
	LIN T , MA T K , QIN D Y ,et al. Research on fan fault diagnosis based on improved DBSCAN algorithm[J]. Modern Electronics Technology, 2018,41(21): 146-149,155.
[113]	谢静瑶, 解思江, 焦阳 ,等. 一种改进的启发式自适应DBSCAN聚类算法的研究及其在电力系统信息安全预警分析中的应用[J]. 电信科学, 2017,33(S1): 117-122.
	XIE J Y , XIE S J , JIAO Y ,et al. Research on an improved heuristic adaptive DBSCAN clustering algorithm and its application in early warning analysis of power system information security[J]. Telecommunications Science, 2017,33(S1): 117-122.
[114]	吴东洋, 业宁 . 基于BIRCH的木材缺陷识别[J]. 山东大学学报(工学版), 2010,40(5): 137-140.
	WU D Y , YE N . Wood defect recognition based on BIRCH[J]. Journal of Shandong University (Engineering Science Edition), 2010,40(5): 137-140.
[115]	绍彬, 叶飞跃, 刘佰强 ,等. 食品HACCP分类的BIRCH算法[J]. 计算机工程, 2008,34(23): 59-61.
	SHAO B , YE F Y , LIU B Q ,et al. BIRCH algorithm for food HACCP classification[J]. Computer Engineering, 2008,34(23): 59-61.
[116]	龙铭, 文章, 黄文艺 ,等. 滚动轴承故障程度评估的AR-GMM方法[J]. 机械科学与技术, 2016,35(8): 1183-1188.
	LONG M , WEN Z , HUANG W Y ,et al. AR-GMM method for evaluating the degree of failure of rolling bearings[J]. Mechanical Science and Technology, 2016,35(8): 1183-1188.
[117]	王刚, 肖黎, 屈文忠 . L amb波高斯混合模型螺栓松动损伤检测[J]. 机械科学与技术, 2020(4): 493-500.
	WANG G , XIAO L , QU W Z . Lamb wave gaussian hybrid bolt loose damage detection[J]. Mechanical Science and Technology, 2020(4): 493-500.
[118]	李敏, 崔树芹, 谢治平 . 高斯混合模型在印花织物疵点检测中的应用[J]. 纺织学报, 2015,36(8): 94-98.
	LI M , CUI S Q , XIE Z P . Application of Gaussian mixture model in defect detection of printed fabrics[J]. Journal of Textile Research, 2015,36(8): 94-98.

数据名称	数据内容^{[9,10,11,12,13]}	数据来源	数据类型
设备属性	生产日期、规格型号、编号、性能等	设备运行维护系统	结构化
能耗数据	用电量等能耗数据	能耗管理系统	结构化
生产计划	人员配置、排班表等	制造执行管理系统	非结构化
运行信息	设备温度、电流、电压等	生产监控系统	结构化
环境参数	光电、热敏、声敏、湿敏等工业传感器信息	生产监控系统	结构化
产品生产信息	产品尺寸、数量等	生产监控系统	结构化
产品质量信息	产品合格数、合格率等	产品质量检测系统	结构化
网络公开数据	电子商务网站产品报价、搜索引擎产品搜索次数等	公共服务网络	结构化
接口数据	接口类型数据（JSON格式、XML格式）	已建成的工业自动化或信息系统	半结构化
物料数据	生产原料相关图文数据信息等	生产供应系统	非结构化
知识数据	专利、专著、企业文献等	制造执行管理系统	非结构化
产品文档	工程图纸、仿真数据、测试数据等	制造执行管理系统	非结构化
生产监控图片	图像设备拍摄的图片	生产监控系统	非结构化
生产监控音频	语音及声音信息	生产监控系统	非结构化
生产监控视频	视频监控拍摄的视频	生产监控系统	非结构化

比较项	RFID	传感器	Flume	流媒体服务器
主要应用场景	离散制造业生产过程的设备及产品信息	流程制造业生产过程的设备及产品信息	生产过程日志数据	生产过程监控数据
数据类型	数字量	模拟量	日志数据文件	多媒体数据
系统交互	较多应用在ERP系统中	传递给上层的PLC和DCS，最终与上位机对接	可以将采集的数据存储到任何集中存储器	多媒体流处理引擎实时抓取并上传
优势	读取距离远、准确率高	数据类型丰富、应用领域广	高可靠性、高可扩展性	实时性强、清晰度高

比较项	SQL数据库	NoSQL数据库				NewSQL数据库
数据库模型	关系数据库	键-值存储	列式存储	文档存储	图形存储	关系数据库
数据库代表名称	MySQL	Redis	HBase	MongoDB	Neo4j	PostgreSQL
实现语言	C和C++	C	Java	C++	Java	C
是否结构化数据	是	自由	自由	自由	自由	是
协议类型	TCP/IP	基于TCP的文本协议	RPC协议	BSON协议	JSON/REST协议	TCP/IP
是否支持事务	ACID	半支持，乐观锁控制事务	支持行级事务	不支持	ACID	ACID
应用场景	适用于传统制造业生产过程中的结构化数据	适合作为数据缓存系统，以保障生产数据存储的低时延性	适合生产过程中有数据设计统计需求的场景	适合需要对接多个数据源等场景	适用于图形类数据，例如社交网络推荐系统等，在制造业中应用较少	适用于某些专有软件及特定场景中的海量数据管理

制造业生产过程中多源异构数据处理方法综述

A survey on multi-source heterogeneous data processing methods in manufacturing process

在线阅读

PDF下载

可视化

摘要/Abstract

引用本文

使用本文

图/表 5

参考文献 118

相关文章 13

Metrics

推荐阅读 0

[1]	梅宏, 杜小勇, 金海, 程学旗, 柴云鹏, 石宣化, 靳小龙, 王亚沙, 刘驰. 大数据技术前瞻[J]. 大数据, 2023, 9(1): 1-20.
[2]	程耀东, 程垚松, 毕玉江, 高宇, 李海波, 汪璐, 姚秋玲. 基于国产处理器架构的高能物理数据处理系统[J]. 大数据, 2021, 7(5): 17-30.
[3]	宫明, 蒋翔宇, 陈莹, 刘朝峰. 从格点量子色动力学应用看国产超算环境的基础软件[J]. 大数据, 2021, 7(5): 31-39.
[4]	张晨浩, 肖利民, 秦广军, 宋尧, 蒋世轩, 王继业. 面向大数据处理应用的广域存算协同调度系统[J]. 大数据, 2021, 7(5): 82-97.
[5]	邹骁锋, 阳王东, 容学成, 李肯立, 李克勤. 面向大数据处理的数据流编程模型和工具综述[J]. 大数据, 2020, 6(3): 59-72.
[6]	毕倪飞, 丁光耀, 陈启航, 徐辰, 周傲英. 数据流计算模型及其在大数据处理中的应用[J]. 大数据, 2020, 6(3): 73-86.
[7]	苏华友, 梅松竹, 李荣春, 窦勇. 数据流技术在GPU和大数据处理中的应用[J]. 大数据, 2020, 6(3): 117-128.
[8]	吴维刚, 常亮, 任江涛, 古天龙. 面向政府治理大数据的高性能计算系统[J]. 大数据, 2020, 6(2): 41-56.
[9]	张平文, 鄂维南, 袁晓如, 傅毅明. 大数据分析与应用技术创新平台[J]. 大数据, 2018, 4(4): 86-93.
[10]	黄锦辉. 开发商业智能应用小心大数据“陷阱”[J]. 大数据, 2017, 3(2): 26-30.
[11]	牟少敏, 温孚江, 宋长青. 农业大数据研究生培养模式探索[J]. 大数据, 2016, 2(1): 53-58.
[12]	许洪波, 陈波. 面向国防安全的网络大数据分析与应用系统[J]. 大数据, 2015, 1(4): 29-37.
[13]	黄宜华. 大数据机器学习系统研究进展[J]. 大数据, 2015, 1(1): 35-54.