云数据管理研究综述

doi:10.3969/j.issn.1000-0801.2010.05.009

摘要/Abstract

摘要：

作为一种全新的互联网应用模式，云计算已成为人们未来获取服务和信息的主导方式。随着云计算中大数据集高效管理、海量数据中特定数据的快速定位、云端海量数据精准查询等迫切需求的日益显现，Web数据管理正逐步向云数据管理阶段发展，一个新的云数据管理研究领域正逐渐形成。在云计算技术的基础上，提出了云数据管理系统的概念，深度剖析了BigTable、Hbase、Sector/Sphere 等当前互联网主流云数据管理系统的基本原理，最后指出了云数据管理领域的主要研究方向。

关键词: 云计算, 数据管理, 软件即服务

Abstract:

With the increasingly emergence of urgent demand such as large datasets efficient management in cloud computing， specific data fast positioning in massive data and precision query in cloud massive data，web data management are gradually evolving into the next stage of cloud data management，a new research field of cloud data management are gradually forming. After the introduction of the cloud computing technology，the definition of CDMS （cloud data management system）was put forward. Emphatically，the basic principles of current mainstream CDMS include BigTable，HBase and sector/sphere was presented，before the main research direction in cloud data management in the end.

Key words: cloud computing, data management, SaaS

吴吉义,傅建庆,张明西,平玲娣. 云数据管理研究综述[J]. 电信科学, 2010, 26(5): 34-41.

Jiyi Wu,Jianqing Fu,Mingxi Zhang,Lingdi Ping. Cloud Data Management：A Survey[J]. Telecommunications Science, 2010, 26(5): 34-41.

图/表 6

图1

图2

图3

图4

表1

图5

参考文献 56

1	Sanjay Ghemawat ， Howard Gobioff ， Shun-Tak Leung . The Google file system.In： Proc of the 19th ACM SOSP， New York， 2003
2	Dean J ， Ghemawat S . MapReduce：simplified data processing on large clusters.In： Proc of the 6th SOSDI， Berkeley Calif， 2004
3	Ralf Lammel . Google’s MapReduce programming model Revisited. ， 2007
4	Fay Chang ， Jeffrey Dean ， Sanjay Ghemawat ， et al. Bigtable：a distributed storage system for structured data.In： Proc of the 7th USENIX Symp on OSDI， Berkeley， 2006
5	elly Sims . IBM introduces ready-to-use cloud computing collaboration services get clients started with cloud computing. ， 2009
6	石磊，邹德清，金海 . Xen虚拟化技术. 北京：华中科技大学出版社， 2009
7	IBM. IBM virtualization. ， 2009
8	Dhruba Borthaku . The hadoop distributed file system：architecture and design. ， 2009
9	Hbase Development Team. Hbase：bigtable-like structured storage for hadoop hdfs. ， 2009
10	Randal E B . Data-intensive supercomputing：the case for DISC. ， 2009
11	Zhang Y X ， Zhou Y Z . 4VP+：a novel meta OS approach for streaming programs in ubiquitous computing.In： Proc of IEEE the 21st Int’l Conf on Advanced Information Networking and Applications（AINA 2007）， Los Alamitos， 2007
12	Zhang Y X ， Zhou Y Z . Transparent computing：a new paradigm for pervasive computing.In： Proc of the 3rd Int’l Conf on Ubiquitous Intelligence and Computing （UIC 2006）， Berlin， 2006
13	陈康，郑纬民 . 云计算：系统实例与研究现状. 软件学报， 2009，20（5）：1337～1348
14	金海 . 计算系统虚拟化：原理与应用. 北京：清华大学出版社， 2008
15	英特尔开源软件技术中心，复旦大学并行处理研究所. 系统虚拟化：原理与实现. 北京：清华大学出版社， 2009
16	陈海波 . 云计算平台可信性增强技术的研究. 复旦大学博士学位论文， 2009
17	吴吉义，平玲娣，潘雪增等. 云计算：从概念到平台. 电信科学， 2009（12）
18	Open cloud manifesto. ， 2009
19	Ian Foster ， Zhao Yong ， Ioan Raicu ， et al. Cloud computing and grid computing 360-degree compared.In： Grid Computing Environments Workshop，GCE 2008
20	陈国良，孙广中，徐云等. 并行计算的一体化研究现状与发展趋势. 科学通报， 2009，54（8）： 1043～1049
21	Tim Jones M . Cloud computing with Linux. ， 2009
22	范昊，余婷 . 一种新型的网络分布式计算——云计算. 2008年全国高性能计算学术年会论文集， 2008
23	Buyya Rajkumar ， Chee Shin Yeo ， Srikumar Venugopal . Market-oriented cloud computing：vision，hype，and reality for delivering IT services as computing utilities.In： Proc of the 10th IEEE International Conference on High Performance Computing and Communications， 2008
24	司品超，董超群，吴利等. 云计算：概念，现状及关键技术. 2008年全国高性能计算学术年会论文集， 2008
25	IBM. “蓝云”解决方案. ， 2009
26	IBM. “智慧的地球”—IBM 动态架构之系统虚拟化. ， 2009
27	SUN. 云计算架构介绍白皮书（第1版）. ， 2009
28	潘春燕 . 云计算实战把数据中心迁移到云环境. 信息系统工程， 2009（2）：30～31
29	Luis M V ， Luis Rodero-Merino ， Juan Caceres ， Maik Lindner . A break in the clouds：toward a cloud definition. ACM SIGCOMM Computer Communication Review， 2014，39（1）：50～55
30	Buyya Rajkumar ， Chee Shin Yeo ， Srikumar Venugopal . Market-oriented cloud computing：vision，hype，and reality for delivering IT services as computing utilities.In： Proc of the 10th IEEE International Conference on High Performance Computing and Communications， 2008
31	Luiz Andre Barroso ， Jeffrey Dean ， Urs Holzle . Web search for a planet：the google cluster architecture. IEEE Micro， 2003，23（2）：22～28
32	Amazon . Amazon simple storage service（S3）. ， 2009
33	Above the clouds：a berkeley view of cloud computing.
34	2009中国云计算发展状况白皮书. ， 2009
35	Patrick Goldsack 等. Cells-as-a-Service——一项云计算基础设施服务. 中国计算机学会通讯（CCFC）， 2009，5（6）：26～31
36	Gartner . Teleworking in the cloud：security risks and remedies. ， 2009
37	Cloud security alliance. ， 2009
38	VMware. 虚拟化技术作为云计算的平台. ， 2009
39	Center for Internet Security. Virtual machine security guidelines. ， 2009
40	Yang HC ， Dasdan A ， Hsiao RL ， Parker DS . Map-reduce-merge：simplified relational data processing on large clusters.In： Proc of the 2007 ACM SIGMOD Int’l Conf on Management of Data， New York， 2007
41	Ranger C ， Raghuraman R ， Penmetsa A ， et al. Evaluating mapReduce for multi-core and multiprocessor systems.In： Proc of the 13th Int’l Symp on High-performance Computer Architecture， Los Alamitos， 2007
42	Daniel J A . Data management in the cloud：limitations and opportunities. Bulletin of the IEEE Computer Society Technical Committee on Data Engineering， 2009，32（1）： 3～12
43	Gu Yunhong ， Robert L G . Sector and sphere：the design and implementation of a high-performance data cloud. Philosophical Transactions of the Royal Society， 2009（367）： 2429～2445
44	Robert L G ， Gu Yunhong ， Michael S ， et al. Compute and storage clouds using wide area high performance networks. Future Generation Computer Systems， 2009，25（2）： 179～183
45	Mike Burrows . The chubby lock service for looselycoupled distributed systems.In： Proc of the 7th Symposium on Operating Systems Design and Implementation（OSDI）， 2006
46	Tushar Chandra ， Robert Griesemer ， Joshua Redstone . Paxos made live-an engineering perspective.In： Proc of the 26th annual ACM symposium on Principles of Distributed Computing， 2007
47	Jean D C ， Alain April ， Alain Abran . Criteria to compare cloud computing with current database technology. LNCS 5338， 2008，114～126
48	The postgreSQL global development group.Retrieved from ， 2009
49	Robert L G ， Gu Yunhong . Data mining using high performance data clouds：experimental studies using sector and sphere.In： Proc of the 14th ACM SIGKDD International Conference on Knowledge Discovery and Data Mining， 2008
50	Olofson C . Worldwide RDBMS 2005 vendor shares. Technical Report 201692，IDC May 2006
51	Overview of hypertable architecture. ， 2009
52	Brandon Rich ， Douglas Thain . DataLab：transactional data-parallel computing on an active storage cloud.In： Proc of the 17th International Symposium on High Performance Distributed Computing， 2008
53	hristopher Moretti ， Jared Bulosan ， Douglas Thain ， et al. All-pairs：an abstraction for data-intensive cloud computing.In： Proc of the 22nd IEEE International Parallel and Distributed Processing Symposium，Program and CD-ROM， 2008
54	Huan Liu ， Dan Orban . GridBatch：cloud computing for large-scale data-intensive batch applications.In： Proc of the 8th IEEE International Symposium on Cluster Computing and the Grid， 2008
55	Alexander S S ， Gordon Bell ， Jan Vandenberg ， et al. GrayWulf：scalable clustered architecture for data intensive computing.In： Proc of the 42st Hawaii International Conference on Systems Science， 2009
56	Dionysios Logothetis ， Kenneth Yocum . Ad-hoc data processing in the cloud.In： Proc of the VLDBˊ08， 2008

比较元素	PostgreSQL	HBase
软件架构	三层	三层
硬件	几台高配置（价格）服务器	数十台廉价PC集群
操作系统	支持 Windows、Linux 等多种OS	目前只支持Linux
数据结构	关系表	类BigTable结构
数据处理	SQL PL/pgSQL过程语言	HBase Java API（创建、读取、更新、删除），MapReduce， REST、Thrift等网关
扩展和升级	成本高	成本低
硬件可靠性	由客户解决方案（如增加硬件投资等）保证	由 HBase、Hadoop 在文件系统与数据管理层保证
支持的系统数量	单一	多个

[1]	韩雪. 基于电力大数据的电力骨干通信网络毁伤韧性评估方法[J]. 电信科学, 2023, 39(5): 136-143.
[2]	邢文娟, 雷波, 赵倩颖. 算力基础设施发展现状与趋势展望[J]. 电信科学, 2022, 38(6): 51-61.
[3]	邓平科, 张同须, 施南翔, 张童, 邵天竺, 郑韶雯. 星算网络——空天地一体化算力融合网络新发展[J]. 电信科学, 2022, 38(6): 71-81.
[4]	邬江兴. 论网络技术体制发展范式的变革——网络之网络[J]. 电信科学, 2022, 38(6): 3-12.
[5]	马焜, 徐玲玉, 沈晓萍, 龚志城, 蓝建平, 陈双喜, 钱钧. 云计算中基于Shapley值改进遗传算法的虚拟机调度模型[J]. 电信科学, 2022, 38(12): 1-10.
[6]	刘志勇, 何忠江, 阮宜龙, 单俊峰, 张超. 大数据安全特征与运营实践[J]. 电信科学, 2021, 37(5): 160-169.
[7]	许剑,靳莉. 一种可量化的云计算平台安全评估模型[J]. 电信科学, 2020, 36(7): 163-167.
[8]	罗斯宁,王化龙,李弘宇,彭蔚. 基于改进蚁群算法的云计算用户任务调度算法[J]. 电信科学, 2020, 36(2): 95-100.
[9]	雷波, 刘增义, 王旭亮, 杨明川, 陈运清. 基于云、网、边融合的边缘计算新方案：算力网络[J]. 电信科学, 2019, 35(9): 44-51.
[10]	高永梅,程冠杰. 基于边缘计算的数据密集型服务部署[J]. 电信科学, 2019, 35(7): 87-99.
[11]	鲁泽霖,李强治. 电子商务平台的演化逻辑和运营机理[J]. 电信科学, 2019, 35(7): 152-158.
[12]	黄志兰,樊勇兵,樊宁,陈楠,吴林泽,林宝洪. 云资源池集成虚拟防火墙方案及关键技术[J]. 电信科学, 2019, 35(5): 140-148.
[13]	朱友康,乐光学,杨晓慧,刘建生. 边缘计算迁移研究综述[J]. 电信科学, 2019, 35(4): 74-94.
[14]	吴国威,樊宁,汪来富,王帅,沈军,金华敏. 云环境下基于属性加密体制算法加速方案[J]. 电信科学, 2019, 35(11): 101-107.
[15]	张云勇. 5G将全面使能工业互联网[J]. 电信科学, 2019, 35(1): 1-8.