基于分布式块存储系统的服务质量研究与优化

doi:10.11959/j.issn.1000-0801.2018157

电信科学 ›› 2018, Vol. 34 ›› Issue (4): 118-128.doi: 10.11959/j.issn.1000-0801.2018157

基于分布式块存储系统的服务质量研究与优化

屠要峰^1,²,杨洪章^1,²,韩银俊^1,²,陈正华^1,²

¹ 中兴通讯股份有限公司,广东深圳 518057
² 南京中兴新软件有限责任公司,江苏南京 210012

修回日期:2018-04-14 出版日期:2018-04-01 发布日期:2018-05-02
作者简介:屠要峰（1972?），男，中兴通讯股份有限公司研究员级高级工程师，中国计算机学会会员，主要研究方向为云存储。|杨洪章（1989-），男，中兴通讯股份有限公司高级工程师，中国计算机学会信息存储专委会委员，主要研究方向为文件系统。|韩银俊（1977-），男，中兴通讯股份有限公司工程师，主要研究方向为云计算平台。|陈正华（1983-），男，中兴通讯股份有限公司工程师，主要研究方向为超融合存储系统。
基金资助:
深圳市科技创新委员会科技应用示范项目资金资助项目(SF20170036)

Research and optimization on quality of service in distributed block storage system

Yaofeng TU^1,²,Hongzhang YANG^1,²,Yinjun HAN^1,²,Zhenghua CHEN^1,²

¹ ZTE Corporation,Shenzhen 518057,China
² Nanjing Zhongxing New Software Co.,Ltd.,Nanjing 210012,China

Revised:2018-04-14 Online:2018-04-01 Published:2018-05-02
Supported by:
Applied Demonstration Programs of Science and Technology Innovation Commission Foundation of Shenzhen City(SF20170036)

摘要/Abstract

摘要：

在云存储技术中，资源复用和共享是一把双刃剑，在为用户降低开销的同时，也导致了应用之间的相互干扰和竞争，特别是在资源需求量超出存储系统能力时，无法提供令人满意的服务质量。提出一种自适应的任务调度技术，解决了前后端任务的资源平衡问题。还提出一种多级热度的缓存替换技术，解决了前端任务间的资源平衡问题。在中兴分布式块存储系统中将上述两项技术进行了工程实现和商用测试，上述优化方案满足了用户对分布式块存储服务质量的期望。

关键词: 分布式存储系统, 缓存分级, 任务调度, 服务质量

Abstract:

In cloud storage technology,resource reuse and sharing is a double-edged sword.While it reducing the overhead for customers,it leads to a situation that the different applications will compete for hardware resources,especially when resource requirement exceeded storage system capability.As a consequence the cloud storage system is unable to provide satisfactory quality of service.An adaptive scheduling technology was proposed,solving the resource balance problem between front tasks and back tasks.A multilevel popularity cache replacement technology was also proposed,solving the resource balance problems between the front tasks themselves.These technology was implemented and tested on the ZTE distributed block storage system.The proposed technology satisfies the expectations of the quality of service from the users.

Key words: distributed storage system, cache tier, task scheduling, quality of service

中图分类号:

TP316.4

屠要峰,杨洪章,韩银俊,陈正华. 基于分布式块存储系统的服务质量研究与优化[J]. 电信科学, 2018, 34(4): 118-128.

Yaofeng TU,Hongzhang YANG,Yinjun HAN,Zhenghua CHEN. Research and optimization on quality of service in distributed block storage system[J]. Telecommunications Science, 2018, 34(4): 118-128.

图/表 11

图1

图2

图3

表1

图4

图5

表2

图6

图7

图8

图9

参考文献 18

[1]	孙健, 贾晓菁 . Google 云计算平台的技术架构及对其成本的影响研究[J]. 电信科学, 2010,26(1): 38-44.
	SUN J , JIA X J . A study of the influence of technical architecture on the total cost of google cloud computing platform[J]. Telecommunications Science, 2010,26(1): 38-44.
[2]	李丹, 刘方明, 郭得科 ,等. 软件定义的云数据中心网络基础理论与关键技术[J]. 电信科学, 2014,30(6): 48-59.
	LI D , LIU F M , GUO D K ,et al. Fundamental theory and key technology of software defined cloud data center network[J]. Telecommunications Science, 2014,30(6): 48-59.
[3]	樊自甫, 伍春玲, 王金红 . 基于SDN架构的数据中心网络路由算法需求分析[J]. 电信科学, 2015,31(2): 42-51.
	FAN Z F , WU C L , WANG J H . Requirements analysis of data center network routing algorithm based on SDN architecture[J]. Telecommunications Science, 2015,31(2): 42-51.
[4]	孙振正, 龚靖, 段勇 ,等. 面向下一代数据中心的软件定义存储技术研究[J]. 电信科学, 2014,30(1): 39-43.
	SUN Z Z , GONG J , DUAN Y ,et al. Research on software defined storage technology for the next-generation data center[J]. Telecommunications Science, 2014,30(1): 39-43.
[5]	杨洪章, 罗圣美, 施景超 ,等. 面向移动通信大数据的云存储系统优化[J]. 计算机应用, 2017,37(a01): 27-33.
	YANG H Z , LUO S M , SHI J C ,et al. Cloud storage system optimizations for telecom big data[J]. Journal of Computer Applications, 2017,37(a01): 27-33.
[6]	张泉 . 面向云数据中心的存储服务质量技术研究[D]. 武汉:华中科技大学, 2014.
	ZHANG Q . Research on storage quality of service for cloud data centers[D]. Wuhan:Huazhong University of Science and Technology, 2014
[7]	贾博文, 张文军, 李小勇 . 面向虚拟机的分布式块存储系统设计及实现[J]. 微型电脑应用, 2015(3): 32-37.
	JIA B W , ZHANG W J , LI X Y . Design and implementation of a distributed block storage system for virtual machines in the IaaS cloud[J]. Microcomputer Applications, 2015(3): 32-37.
[8]	WEIL S A , BRANDT S A , MILLER E L ,et al. Ceph:a scalable,high-performance distributed file system[C]// The 7th symposium on Operating systems design and implementation,November 6-8,2006, Seattle,Washington.[S.l.]:USENIX Association, 2006: 307-320.
[9]	NA W W , MENG X X , SI C ,et al. A novel network RAID architecture with out-of-band virtualization and redundant management[C]// The 14th IEEE International Conference on Parallel and Distributed Systems,December 8-10,2008, Melbourne,Victoria,Australia.[S.l.:s.n] 2008: 105-112.
[10]	DIKAIAKOS M D , KATSAROS D , MEHRA P ,et al. Cloud Computing:distributed internet computing for IT and scientific research[J]. IEEE Internet Computing, 2009,13(5): 10-13.
[11]	冯盼盼, 卢明樊 . 一种分布式块存储系统及其存储质量控制方法及装置:CN201510544239.X[P]. 2009-08-28.
	FENG P P , LU M F . A distributed block storage system and its storage quality control method and device:CN201510544239.X[P]. 2009-08-28.
[12]	HUANG L . Stonehenge:a high-performance virtualized IP storage cluster with QoS guarantees[M]. New York: ACM Press, 2003.
[13]	刘飞, 蒋德钧, 张欢 ,等. 异构存储感知的Ceph存储系统数据放置方法[J]. 计算机科学, 2017,44(6): 17-22.
	LIU F , JIANG D J , ZHANG H ,et al. Heterogeneous storage aware data placement of ceph storage system computer science[J]. Computer Science, 2017,44(6): 17-22.
[14]	LEE D , CHOI J , KIM J H ,et al. LRFU:a spectrum of policies that subsumes the least recently used and least frequently used policies[J]. IEEE Transactions on Computers, 2001,50(12): 1352-1361.
[15]	JIANG S , ZHANG X . LIRS:an efficient low inter-reference recency set replacement policy to improve buffer cache performance[J]. ACM SIGMETRICS Performance Evaluation Review, 2002,30(1): 31-42.
[16]	MEGIDDO N , MODHA D S . ARC:a self-tuning,low overhead replacement cache[C]// The 2003 USENIX Conference on File and Storage Technologies,March 31 - April 2,2003, San Francisco,California,USA.[S.l.]:USENIX Association, 2003:9.
[17]	顾荣 . 大数据分布式存储技术与系统研究[D]. 南京:南京大学, 2016.
	GU R . Research on techniques and systems for big data processing[D]. Nanjing:Nanjing University, 2016.
[18]	屠要峰 . 高性能、高可靠中兴超融合架构关键技术解析[J]. 通信世界, 2017(9): 55-56.
	TU Y F . Key technical analysis of high performance and high reliability ZTE hyper-convergence architecture[J]. Communica tions World, 2017(9): 55-56.

繁忙等级	负载范围下界	负载范围上界	后台业务可否执行
空闲	0	第1负载阈值	全部后台业务
1级繁忙	第1负载阈值	第2负载阈值	第1至第N-1优先
			级后台业务
2级繁忙	第2负载阈值	第3负载阈值	第1至第N-2优先
			级后台业务
…	…	…	…
N-1级	第N-1负载阈值	第N负载阈值	第1优先级后台业务
繁忙
N级繁忙	第N负载阈值	1	否

热度级别	热度范围下界	热度范围上界	对应存储器件
第1热度	第1热度阈值	+∞	第1存储器件
第2热度	第2热度阈值	第1热度阈值	第2存储器件
…	…	…	…
第N热度	0	第N-1热度阈值	第N存储器件

基于分布式块存储系统的服务质量研究与优化

Research and optimization on quality of service in distributed block storage system

在线阅读

PDF下载

可视化

摘要/Abstract

引用本文

使用本文

图/表 11

参考文献 18

相关文章 15

Metrics

推荐阅读 0

[1]	贾宇航, 雷艺学, 张翼鹏, 张云飞. 远程遥控驾驶场景下基于网络信息开放的QoS预测[J]. 电信科学, 2023, 39(3): 153-161.
[2]	信金灿, 许森, 张化, 熊尚坤, 许话. 面向时间敏感网络的5G无线网增强技术研究[J]. 电信科学, 2022, 38(5): 18-25.
[3]	丁铖, 陈锦荣, 曹小冬, 王翊. 基于服务质量的层次化结构资源分配算法[J]. 电信科学, 2022, 38(1): 102-111.
[4]	王庆扬, 杨智斌, 龙彪, 梁灏泉. 基于核心网分析和决策的5G网络智能调度[J]. 电信科学, 2021, 37(9): 129-138.
[5]	胡道允, 齐进, 陆钱春, 李锋, 房红强. 基于深度学习的流量工程算法研究与应用[J]. 电信科学, 2021, 37(2): 107-114.
[6]	伍仲丽, 曹园园, 黄文睿, 戴彬, 莫益军. 面向确定性网络的按需智能路由技术[J]. 电信科学, 2021, 37(11): 11-16.
[7]	罗斯宁,王化龙,李弘宇,彭蔚. 基于改进蚁群算法的云计算用户任务调度算法[J]. 电信科学, 2020, 36(2): 95-100.
[8]	廖志文,张凌. 企业级视频会议动态时间槽多播带宽提前预留算法[J]. 电信科学, 2019, 35(7): 78-86.
[9]	乐光学,戴亚盛,杨晓慧,朱友康,游真旭,刘建生. 边缘计算多约束可信协同任务迁移策略[J]. 电信科学, 2019, 35(11): 36-50.
[10]	王琳杰. 云计算中基于生物共生机制改进粒子群优化的任务调度方案[J]. 电信科学, 2016, 32(9): 113-119.
[11]	宋正江,李晓晨,陈江. CRSN中基于随机网络演算的拥塞控制协议QoS边界分析[J]. 电信科学, 2016, 32(4): 44-51.
[12]	文华. 运用备份服务位置和概率QoS模型的Web服务组合算法[J]. 电信科学, 2016, 32(10): 116-125.
[13]	郭涛,李有明,雷鹏,季彪,李程程. MIMO中继系统中一种基于用户QoS的资源分配方法[J]. 电信科学, 2015, 31(4): 114-119.
[14]	赵季红,王元,唐睿,张振伟,曲桦. 移动中继多播场景下的节能优化[J]. 电信科学, 2015, 31(4): 71-76.
[15]	郭杨波,张治中,胡昊南,程方. 关于5G中继技术的节能算法研究[J]. 电信科学, 2015, 31(3): 48-53.