交通大数据：一种基于微服务的敏捷处理架构设计

doi:10.11959/j.issn.2096-0271.2017030

大数据 ›› 2017, Vol. 3 ›› Issue (3): 53-67.doi: 10.11959/j.issn.2096-0271.2017030

交通大数据：一种基于微服务的敏捷处理架构设计

杜圣东,杨燕,滕飞

西南交通大学信息科学与技术学院，四川成都 610031

出版日期:2017-05-20 发布日期:2017-05-31
作者简介:杜圣东（1981-），男，西南交通大学信息科学与技术学院讲师，中国计算机学会（CCF）和国际计算机学会（ACM）会员，主要研究方向为数据挖掘、机器学习、交通大数据、医疗大数据等。|杨燕（1964-），女，西南交通大学信息科学与技术学院教授、博士生导师，主要研究方向为大数据分析与挖掘、人工智能、教学管理等。|滕飞（1984-），女，博士，西南交通大学信息科学与技术学院讲师，CCF和ACM会员，主要研究方向为云计算、工业大数据等。
基金资助:
国家重点研发计划基金资助项目(2016YFC0802209);国家科技支撑计划基金资助项目(2015BAH19F02)

Traffic big data:an agile architecture design based on micro service

Shengdong DU,Yan YANG,Fei TENG

School of Information Science and Technology,Southwest Jiaotong University,Chengdu 610031,China

Online:2017-05-20 Published:2017-05-31
Supported by:
The National Key Research and Development Program of China(2016YFC0802209);The National Science and Technology Support Program of China(2015BAH19F02)

摘要/Abstract

摘要：

面对智慧交通广泛的大数据应用场景和技术需求，一般大数据系统难以适应多种处理情况并做出快速响应。针对这一问题，首次提出了敏捷大数据方法论，对其概念、处理流程、核心原则与关键技术等进行了研究和探索。基于数据科学迭代性本质，设计了面向微服务的敏捷大数据架构，对交通大数据微服务化、交通大数据融合等关键环节进行了详细设计和论述。敏捷大数据架构的提出为交通大数据环境下的高效、灵活数据挖掘和机器学习提供了新思路、新方法。

关键词: 敏捷大数据, 微服务, 大数据架构, 容器, 大数据融合

Abstract:

Faced with a wide range of intelligent transportation application scenarios and technical requirements,the general big data system is difficult to adapt to a variety of processing and make a quick response.In order to solve this problem,the methodology of agile big data for the first time was put forward.Based on the iterative nature of data science,the agile big data architecture based on micro service was designed,and the key points of the traffic oriented micro service and data fusion technology were discussed.The agile big data architecture provides new idea and method for efficient and flexible data mining and machine learning under the environment of traffic big data.

Key words: agile big data, micro service, big data architecture, container, big data fusion

中图分类号:

TP274

杜圣东, 杨燕, 滕飞. 交通大数据：一种基于微服务的敏捷处理架构设计[J]. 大数据, 2017, 3(3): 53-67.

Shengdong DU, Yan YANG, Fei TENG. Traffic big data:an agile architecture design based on micro service[J]. Big Data Research, 2017, 3(3): 53-67.

图/表 7

图1?

图2?

图3?

图4?

图5?

图6?

表1?

参考文献 14

[1]	李国杰, 程学旗 . 大数据研究:未来科技及经济社会发展的重大战略领域——大数据的研究现状与科学思考[J]. 中国科学院院刊, 2012(6): 647-657.
	LI G J , CHENG X Q . Research status and scientific thinking of big data[J]. Bulletin of the Chinese Academy of Sciences, 2012(6): 647-657.
[2]	郑宇 . 城市计算概述[J]. 武汉大学学报(信息科学版), 2015(1): 1-13.
	ZHENG Y . Introduction to urban computing[J]. Geomatics and Information Science of Wuhan University, 2015(1): 1-13.
[3]	杨芙清, 梅宏, 李克勤 . 软件复用与软件构件技术[J]. 电子学报, 1999(2): 69-76.
	YANG F Q , MEI H , LI K Q . Software reuse and software component technology[J]. Acta Electronica Sinica, 1999(2): 69-76.
[4]	王珊, 王会举, 覃雄派 ,等. 架构大数据:挑战、现状与展望[J]. 计算机学报, 2011(10): 1741-1752.
	WANG S , WANG H J , QIN X P ,et al. Architecting big data:challenges,studies and forecasts[J]. Chinese Journal of Computers, 2011(10): 1741-1752.
[5]	孟小峰, 慈祥 . 大数据管理:概念、技术与挑战[J]. 计算机研究与发展, 2013,50(1): 146-169.
	MENG X F , CI X . Big data management:concepts,techniques and challenges[J]. Journal of Computer Research and Development, 2013,50(1): 146-169.
[6]	CHEN H M , KAZMAN R , HAZIYEV S . Agile big data analytics development:an architecture-centric approach[C]// Hawaii International Conference on System Sciences,Jan 5-8,2016,Koloa,HI,USA. New Jersey:IEEE Press, 2016: 5378-5387.
[7]	NAMIOT D,SNEPS-SNEPPE M . On micro-services architecture[J]. International Journal of Open Information Technologies, 2014,2(9): 24-27.
[8]	程学旗, 靳小龙, 王元卓 ,等. 大数据系统和分析技术综述[J]. 软件学报, 2014(9): 1889-1908.
	CHENG X Q , JIN X L , WANG Y Z ,et al. Survey on big data system and analytic technology[J]. Journal of Software, 2014(9): 1889-1908.
[9]	WIRTH R , HIPP J . CRISP-DM:towards a standard process model for data mining[C]// The Fourth International Conference on the Practical Application of Knowledge Discovery and Data Mining,April 18-20,2000,Kyoto,Japan.[S.l.:s.n.], 2000: 1-11.
[10]	孟小峰, 杜治娟 . 大数据融合研究:问题与挑战[J]. 计算机研究与发展, 2016(2): 231-246.
	MENG X F , DU Z J . Research on the big data fusion:issues and challenges[J]. Journal of Computer Research and Development, 2016(2): 231-246.
[11]	ZHENG Z , ZHU J , LYU M R . Servicegenerated big data and big data-asa-service:an overview[C]// IEEE International Congress on Big Data,June 27- July 2,2013,Santa Clara,CA,USA. New Jersey:IEEE Press, 2013: 403-410.
[12]	FELTER W , FERREIRA A , RAJAMONY R ,et al. An updated performance comparison of virtual machines and Linux containers[J]. Lecture Notes in Computer Science, 2014(1140): 438-453.
[13]	BREWER E A , . Kubernetes and the path to cloud native[C]// The Sixth ACM Symposium on Cloud Computing,August 27-29,2015,Kohala Coast,Hawaii,USA. New York:ACM Press, 2015: 167-167.
[14]	LI L , TANG T , WU C . A REST service framework for fine-grained resource management in container-based cloud[C]// IEEE International Conference on Cloud Computing,June 27-July 2,2015,New York,NY,USA. New Jersey:IEEE Press, 2015: 645-652.

特性	传统大数据架构	敏捷大数据架构
扩展性	主要支持数据存储扩展	存储扩展之外，能支持计算框架和分析模型扩展
容错性	单体应用高耦合，难恢复	微服务自治隔离，出错不会相互影响扩散，容易恢复
开放性	接口难以适应业务变化	服务化、标准化的轻量级接口，能快速适应业务变化
兼容性	难以兼容历史遗留系统	容器和微服务支持多种技术栈的快速集成和前后向兼容
数据融合	难以处理，需针对性开发	通过统一数据单元的灵活构建，支持多模态数据处理
多模式计算	难以处理，需定制开发	各种计算框架的服务化，方便技术选型和扩展
维护管理	单体应用维护难度大	通过服务自治，容器隔离运行，维护升级快捷
成本和效率	周期长、投入大、效率低	快速、敏捷、低成本
技术风险	新技术泛型下风险较大	基于敏捷架构，快速迭代试错，能有效控制技术风险

交通大数据：一种基于微服务的敏捷处理架构设计

Traffic big data:an agile architecture design based on micro service

在线阅读

PDF下载

可视化

摘要/Abstract

引用本文

使用本文

图/表 7

参考文献 14

相关文章 5

Metrics

推荐阅读 0

[1]	赵智韬, 赵理君, 张正, 唐娉. 基于容器云技术的典型遥感智能解译算法集成[J]. 大数据, 2022, 8(2): 58-74.
[2]	张凯, 车漾. 基于分布式缓存加速容器化深度学习的优化方法[J]. 大数据, 2021, 7(5): 150-163.
[3]	谢晓兰, 张征征, 郑强清, 陈超泉. 基于APMSSGA-LSTM的容器云资源预测[J]. 大数据, 2019, 5(6): 62-72.
[4]	张聪, 樊小毅, 刘晓腾, 庞海天, 孙立峰, 刘江川. 边缘计算使能智慧电网[J]. 大数据, 2019, 5(2): 64-78.
[5]	孟祥飞, 冯景华, 赵洋, 夏梓峻. 应用驱动的大数据融合平台建设[J]. 大数据, 2017, 3(2): 67-77.