智慧城市多源异构大数据处理框架

doi:10.11959/j.issn.2096-0271.2017007

大数据 ›› 2017, Vol. 3 ›› Issue (1): 51-60.doi: 10.11959/j.issn.2096-0271.2017007

智慧城市多源异构大数据处理框架

刘岩¹,王华²,秦叶阳³,朱兴杰¹

¹ 泰康保险集团股份有限公司数据信息中心，北京 102206
² 中国人民大学，北京 100872
³ 北京大学，北京 100871

出版日期:2017-01-20 发布日期:2017-03-17
作者简介:刘岩（1982-），男，泰康保险集团股份有限公司数据信息中心高级工程师、高级主管，中国计算机学会会员，主要研究方向为智慧城市建设与规划、多源异构大数据内容挖掘与分析、人工智能理论与应用等，在大数据系统设计、人脸识别、OCR识别等领域具有丰富的实践经验，曾作为首席专家参与多个城市智慧化发展规划与实施建设。目前已发表学术论文25篇，申请美国发明专利4项，中国发明专利17项，软件著作权3项，荣获省科技进步奖一项，承担多个“973”计划项目、国家自然科学基金等项目。|王华（1985-），男，中国人民大学硕士生，主要研究方向为大数据处理架构与应用、多源异构数据内容清洗及结构化转化等，对Hadoop、Spark生态系统及组件具有丰富的应用实践经验。|秦叶阳（1986-），女，就职于北京大学，安徽荣创智能科技有限公司联合创始人，主要研究方向为智慧城市信息化建设、大数据处理系统设计与应用、信息安全等，在信息化系统建设、项目组织与运营管理、公共关系管理等方面具有丰富的经验。|朱兴杰（1986-），男，泰康保险集团股份有限公司数据信息中心应用创新高级工程师，主要研究方向为视频数据内容挖掘与分析、人脸检测与识别、机器学习等。

Multisource heterogeneous big data processing architecture in smart city

Yan LIU¹,Hua WANG²,Yeyang QIN³,Xingjie ZHU¹

¹ Data ＆ Information Services Center,Taikang Insurance Group Co.,Ltd.,Beijing 102206,China
² Renmin University of China,Beijing 100872,China
³ Peking University,Beijing 100871,China

Online:2017-01-20 Published:2017-03-17

摘要/Abstract

摘要：

智慧城市建设的重心已由传统IT系统和信息资源共享建设，转变为数据的深度挖掘利用和数据资产的运营流通。大数据中心是数据资产管理和利用的实体基础，其核心驱动引擎是大数据平台及各类数据挖掘与分析系统。讨论了智慧城市大数据中心建设的功能架构，围绕城市多源异构数据处理的实际需要，对数据中心大数据平台的架构进行了拆分讲解，并以视频大数据处理为例，阐述了数据中心中大数据平台的运转流程。

关键词: 智慧城市, 大数据, 多源异构, 视频分析

Abstract:

The focus of smart city construction has been transferred from the tradition IT systems and sharing of information resources construction into the data mining operations and the flow of data assets.Big data center is the physical infrastructure of data assets management and utilization.Its core driver includes big data platform and kinds of data mining and analysis systems.The functional architecture of big data center in smart cities was discussed.And around the actual needs of urban multisource heterogeneous data processing,the structure of the big data platform used by parts was explained.Then taking the video processing as an example,the working flow of big data platform in the big data center was described.

Key words: smart city, big data, multisource and heterogeneous, video analysis

中图分类号:

TP391

刘岩, 王华, 秦叶阳, 朱兴杰. 智慧城市多源异构大数据处理框架[J]. 大数据, 2017, 3(1): 51-60.

Yan LIU, Hua WANG, Yeyang QIN, Xingjie ZHU. Multisource heterogeneous big data processing architecture in smart city[J]. Big Data Research, 2017, 3(1): 51-60.

图/表 9

图1

图2

图3

图4

图5

图6

图7

图8

图9

参考文献 9

[1]	程学旗, 靳小龙, 王元卓 ,等. 大数据系统和分析技术综述[J]. 软件学报, 2014,25(9): 1889-1908.
	CHENG X Q , JIN X L , WANG Y Z ,et al. Survey on big data system and analytic technology[J]. Journal of Software, 2014,25(9): 1889-1908.
[2]	石宇, 詹明, 尹璐 ,等. 面向对象的多源异构数据关联组织与分析[J]. 测绘通报, 2015(1): 102-104.
	SHI Y , ZHAN M , YIN L ,et al. Research on associated orgabization and analysis of target-oriented multi-source heterogeneous data[J]. Bulletin of Surveying and Mapping, 2015(1): 102-104.
[3]	GHEMAWAT S , GOBIOFF H , LEUNG S . File and storage systems:the Google file system[J]. ACM Sigops Operating Systems Review, 2003,37(5): 29-43.
[4]	HE H , DU Z , ZHANG W ,et al. Optimization strategy of Hadoop small file storage for big data in healthcare[J]. Journal of Supercomputing, 2015,72(10): 1-12.
[5]	DEAN J , GHEMAWAT S . MapReduce:simplified data processing on large clusters[J]. Communications of the ACM, 2008,51(1): 107-113.
[6]	孙大为, 张广艳, 郑纬民 . 大数据流式计算:关键技术及系统分析[J]. 软件学报, 2014,25(4): 839-862.
	SUN D L , ZHANG G Y , ZHENG W M . Big data stream computing:technologies and instances[J]. Journal of Software, 2014,25(4): 839-862.
[7]	齐开元, 赵卓峰 . 针对高速数据流的大规模数据实时处理方法[J]. 计算机学报, 2012,35(3): 477-490.
	QI K Y , ZHAO Z F . Real-time processing for high speed data stream over large scale data[J]. Chinese Journal of Computers, 2012,35(3): 477-490.
[8]	DING S H , LI G , LI Y ,et al. SurvSurf:human retrieval on large surveillance video data[J]. Multimedia Tools ＆ Applications, 2016(1): 1-29.
[9]	ZHU H D , SHEN Z , SHANG L ,et al. Parallel image texture feature extraction under Hadoop cloud platform[J]. Springer International Publishing, 2014(8588): 459-465.

[1]	钱海红, 王茂异, 熊贇. 高等教育数字化转型的现状与发展研究[J]. 大数据, 2023, 9(3): 56-70.
[2]	梅宏, 杜小勇, 金海, 程学旗, 柴云鹏, 石宣化, 靳小龙, 王亚沙, 刘驰. 大数据技术前瞻[J]. 大数据, 2023, 9(1): 1-20.
[3]	沈阳, 余梦珑. 元宇宙与大数据：时空智能中的数据洞察与价值连接[J]. 大数据, 2023, 9(1): 103-110.
[4]	陈静. 人文大数据及其在数字人文领域中的应用[J]. 大数据, 2022, 8(6): 3-14.
[5]	罗煜楚, 吴昊, 郭宇涵, 谭绍聪, 刘灿, 蒋瑞珂, 袁晓如. 数字人文中的可视化[J]. 大数据, 2022, 8(6): 74-93.
[6]	郑童哲恒, 李斌, 冯敏萱, 常博林, 王东波. 历史典籍的结构化探索——《史记·列传》数字人文知识库的构建与可视化研究[J]. 大数据, 2022, 8(6): 40-55.
[7]	李汶龙, 袁媛, 安筱鹏. 刍议大数据治理的三大基础思维[J]. 大数据, 2022, 8(4): 34-45.
[8]	汤奇峰, 邵志清, 叶雅珍. 数据交易中的权利确认和授予体系[J]. 大数据, 2022, 8(3): 40-53.
[9]	王陈慧子, 蔡玮. 元宇宙数字经济：现状、特征与发展建议[J]. 大数据, 2022, 8(3): 140-150.
[10]	杨玫, 李玮, 乔思渊, 刘巍. 中国大数据产业产值测算方法研究[J]. 大数据, 2022, 8(3): 151-160.
[11]	李德仁, 张过, 蒋永华, 沈欣, 刘伟玲. 论大数据视角下的地球空间信息学的机遇与挑战[J]. 大数据, 2022, 8(2): 3-14.
[12]	仇晓兰, 胡玉新, 上官松涛, 付琨. 遥感卫星大数据高精度一体化处理技术[J]. 大数据, 2022, 8(2): 15-27.
[13]	刘伟权, 王程, 臧彧, 胡倩, 于尚书, 赖柏锜. 基于遥感大数据的信息提取技术综述[J]. 大数据, 2022, 8(2): 28-57.
[14]	刘建强, 叶小敏, 兰友国. 我国海洋卫星遥感大数据及其应用服务[J]. 大数据, 2022, 8(2): 75-88.
[15]	杨何群, 王晓峰, 高彦青, 陆一闻, 麻炳欣, 王昕瑶. 数值天气预报对卫星大数据的需求分析[J]. 大数据, 2022, 8(2): 89-102.

智慧城市多源异构大数据处理框架

Multisource heterogeneous big data processing architecture in smart city

在线阅读

PDF下载

可视化

被引次数

摘要/Abstract

引用本文

使用本文

图/表 9

参考文献 9

相关文章 15

Metrics

推荐阅读 0