云存储系统中基于更新日志的元数据缓存同步策略

doi:10.3969/j.issn.1000-0801.2011.9.008

电信科学 ›› 2011, Vol. 27 ›› Issue (9): 32-36.doi: 10.3969/j.issn.1000-0801.2011.9.008

云存储系统中基于更新日志的元数据缓存同步策略

吴海佳,陈卫卫,刘鹏,董继光

解放军理工大学指挥自动化学院南京 210007

出版日期:2011-09-15 发布日期:2017-06-22
基金资助:
国家自然科学基金资助项目;国家自然科学基金资助项目

Synchronization Strategy for Metadata Cache in Cloud Storage System Based on Change-Log

Haijia Wu,Weiwei Chen,Peng Liu,Jiguang Dong

Institute of Command Automation，PLA University of Science and Technology，Nanjing 210007，China

Online:2011-09-15 Published:2017-06-22

摘要/Abstract

摘要：

在云存储系统中使用客户端元数据缓存，不仅可以减轻元数据服务器的压力，避免元数据服务器成为系统瓶颈，提高系统的可扩展性，而且可以降低客户端元数据操作的响应延迟，极大地提高客户端IOPS性能。本文对云存储系统客户端元数据缓存同步机制进行研究，提出了基于更新日志的元数据缓存同步策略，利用该策略替代了MassCloud云存储系统原先的元数据缓存完全同步策略。测试结果表明，新的缓存同步策略给MassCloud云存储系统带来了20～140倍的性能提升。

关键词: 云存储, 元数据缓存, 同步策略, 更新日志

Abstract:

Client-side metadata cache is used in cloud storage system. It can not only reduce the work load of metadata server， solve the bottleneck problem of metadata server，and improve the expandability of cloud-storage system，but also reduce the response latency of client-side metadata request，improve client-side IOPS-performance greatly. This paper does research on synchronization mechanism of metadata caches in cloud storage system，puts forward the synchronization strategy based on change-log. This strategy is used to replace the original full-synchronization strategy in the cloud storage system named MassCloud. The results of test show that this stragety brings about 20～140 times performance improvement to MassCloud storage system.

Key words: cloud storage, metadata cache, synchronization strategy, change-log

吴海佳,陈卫卫,刘鹏,董继光. 云存储系统中基于更新日志的元数据缓存同步策略[J]. 电信科学, 2011, 27(9): 32-36.

Haijia Wu,Weiwei Chen,Peng Liu,Jiguang Dong. Synchronization Strategy for Metadata Cache in Cloud Storage System Based on Change-Log[J]. Telecommunications Science, 2011, 27(9): 32-36.

[1]	Sanjay Ghemawat ， Howard Gobioff ， Shun-Tak Leung . The Google file system. In：Proceedings of the 19th ACM Symposium on operating systems principles. Bolton Landing，NY， 2003
[2]	Tom White . Hadoop：the definitive guide Sebastopol. CA：O’ Reilly Media, 2009
[3]	Gideon Juve ， Ewa Deelman ， Karan Vahi ， et al. Data sharing options for scientific workflows on amazon EC2. In：2010 International Conference for High Performance Computing， Networking，Storage and Analysis（SC）， New Orleans，LA， 2010
[4]	Chappell D . Introducting windows azure. 2009
[5]	楚才 . TFS简介. .
[6]	叶伟等. 互联网时代的软件革命：SaaS 架构设计. 北京: 电子工业出版社, 2010
[7]	Klosterman A J ， Ganger G . layered clustering for NFS. Technical Report CMU-CS-02-183. Carnegie Mellon University， 2002

[1]	吴昊,范九伦,刘建华,张俊生. 基于指纹魔方算法的云存储数据保护机制 ^*[J]. 电信科学, 2014, 30(11): 110-115.
[2]	李红卫,叶飞跃,陈丹. 一种基于ORAM的数据可恢复性证明与访问模式的隐藏[J]. 电信科学, 2013, 29(12): 101-106.
[3]	王志中,周城,牟宇飞. 基于分离密钥的云存储加密解决方案[J]. 电信科学, 2013, 29(1): 51-56.
[4]	王少辉,陈丹伟,王志伟,常素琴. 一种新的满足隐私性的云存储公共审计方案[J]. 电信科学, 2012, 28(9): 15-21.
[5]	陆奕奕. 破坏性创新：云计算产品的市场定位与推进策略[J]. 电信科学, 2012, 28(3): 116-121.
[6]	王映康,罗文俊. 云存储环境下多用户可搜索加密方案[J]. 电信科学, 2012, 28(11): 103-107.
[7]	杨岳湘,邓文平,邓劲生,李阳. 基于云存储的网盘系统架构及关键技术研究[J]. 电信科学, 2012, 28(10): 68-72.
[8]	陈晓华,李春芝,张鹏宇. 虚拟主机云存储系统VCloudStorage及文件传输协议VCFTP[J]. 电信科学, 2011, 27(7): 59-66.
[9]	胡冰松,刘文超,万象,谢明. 城市光网环境下的家庭网络云存储应用系统的设计与实现[J]. 电信科学, 2011, 27(5): 33-37.
[10]	吴吉义,章剑林,傅建庆,平玲娣. 基于Kademlia的云存储系统数据冗余方案研究[J]. 电信科学, 2011, 27(2): 68-73.
[11]	陈晓华,李春芝,俞坚奇. 虚拟主机云存储系统整数规划模型及最优化分配算法[J]. 电信科学, 2011, 27(1): 89-94.
[12]	刘国萍,谭国权,杨明川. 基于云存储的在线备份安全技术研究[J]. 电信科学, 2010, 26(9): 79-83.
[13]	张龙立. 云存储技术探讨[J]. 电信科学, 2010, 26(8A): 71-74.
[14]	陆小铭,曹维华,余勇昌. 电信运营商发展云存储业务的网络问题探讨[J]. 电信科学, 2010, 26(6): 71-75.
[15]	邱红飞. 存储的自动精简配置技术应用研究[J]. 电信科学, 2010, 26(11): 12-17.

云存储系统中基于更新日志的元数据缓存同步策略

Synchronization Strategy for Metadata Cache in Cloud Storage System Based on Change-Log

在线阅读

PDF下载

可视化

被引次数

摘要/Abstract

引用本文

使用本文

图/表 5

参考文献 7

相关文章 15

Metrics

推荐阅读 0