广域虚拟数据空间中边缘缓存系统的研究与实现

doi:10.11959/j.issn.2096-0271.2021049

大数据 ›› 2021, Vol. 7 ›› Issue (5): 57-81.doi: 10.11959/j.issn.2096-0271.2021049

• 专题：国产环境下的大数据处理系统 • 上一篇下一篇

广域虚拟数据空间中边缘缓存系统的研究与实现

霍建同¹^,², 肖利民¹^,², 霍志胜¹^,², 徐耀文¹^,²

¹ 软件开发环境国家重点实验室，北京 100191
² 北京航空航天大学计算机学院，北京 100191

出版日期:2021-09-15 发布日期:2021-09-01
作者简介:霍建同（1985- ），男，北京航空航天大学计算机学院博士生，主要研究方向为高性能计算、分布式存储、系统安全、计算机网络等
肖利民（1970- ），男，博士，北京航空航天大学计算机学院教授、博士生导师，计算机科学技术系主任，计算机系统结构研究所副所长，中国计算机学会（CCF）大数据专家委员会委员、高性能计算专业委员会常务委员、容错计算专业委员会委员，中国电子学会云计算专家委员会委员，主要研究方向为计算机体系结构、大数据存储、高性能计算等。曾获国家科技进步奖二等奖4项、省部级科技进步奖一等奖4项及其他省部级奖项5项。发表SCI/EI论文230多篇，申请发明专利100多项，其中授权发明专利88项
霍志胜（1983- ），男，博士，北京航空航天大学计算机学院助理研究员，主要研究方向为大数据存储、分布式存储系统、分布式/并行文件系统等。作为项目主持人和项目骨干，主持和参与了多项博士后基金面上项目、国家重点研发计划项目、国家自然科学基金面上项目等
徐耀文（1996- ），男，北京航空航天大学计算机学院硕士生，主要研究方向为分布式文件系统、高性能计算、网络安全等
基金资助:
国家重点研发计划资助项目(2018YFB0203901)

Research and implementation of edge cache system in global virtual data space across WAN

Jiantong HUO¹^,², Limin XIAO¹^,², Zhisheng HUO¹^,², Yaowen XU¹^,²

¹ State Key Laboratory of Software Development Environment, Beijing 100191, China
² School of Computer Science and Engineering, Beihang University, Beijing 100191, China

Online:2021-09-15 Published:2021-09-01
Supported by:
The National Key Research and Development Program of China(2018YFB0203901)

摘要/Abstract

摘要：

针对广域虚拟数据空间系统中边缘客户端访问和共享远程数据时，数据冗余传输造成大量网络带宽浪费的问题，通过研究广域虚拟数据空间系统中的缓存技术，提出边缘缓存机制优化数据访问通路，将数据以文件粒度缓存在靠近边缘客户端的位置，从而提升上层应用访问和共享数据的性能。测试结果表明，作为虚拟数据空间系统的补充，提出的边缘缓存系统可提升广域数据共享的性能。

关键词: 广域网, 边缘缓存, 广域虚拟数据空间, 共享数据访问性能

Abstract:

Aiming at the problem of a large amount of network bandwidth wasted by data redundancy transmission when the edge client accesses and shares remote data in the GVDS, the caching technology in the wide-area virtual data space system was studied and an edge caching mechanism to optimize the data access path was proposed.The data is cached at a file granularity close to the edge client, thereby improving the performance of upper-level applications to access and share data.The experimental results show that the edge cache system proposed can improve the performance of wide-area data sharing as a supplement to the GVDS.

Key words: wide area network, edge cache, global virtual data space, shared data access performance

中图分类号:

TP319

霍建同, 肖利民, 霍志胜, 徐耀文. 广域虚拟数据空间中边缘缓存系统的研究与实现[J]. 大数据, 2021, 7(5): 57-81.

Jiantong HUO, Limin XIAO, Zhisheng HUO, Yaowen XU. Research and implementation of edge cache system in global virtual data space across WAN[J]. Big Data Research, 2021, 7(5): 57-81.

图/表 27

图1

图2

图3

图4

图5

图6

图7

图8

图9

表1

图10

图11

图12

图13

图14

表2

表3

图15

图16

图17

图18

图19

表4

图20

图21

图22

图23

参考文献 16

[1]	肖利民, 宋尧, 秦广军 ,等. GVDS:面向广域高性能计算环境的虚拟数据空间[J]. 大数据, 2021,7(2): 123-146.
	XIAO L M , SONG Y , QIN G J ,et al. GVDS:a global virtual data space for wide-area high-performance computing environments[J]. Big Data Research, 2021,7(2): 123-146.
[2]	ASHTON K . That “Internet of things”thing[J]. RFID Journal, 2009,22(7): 97-114.
[3]	施巍松, 张星洲, 王一帆 ,等. 边缘计算:现状与展望[J]. 计算机研究与发展, 2019,56(1): 69-89.
	SHI W S , ZHANG X Z , WANG Y F ,et al. Edge computing:state-of-the-art and future directions[J]. Journal of Computer Research and Development, 2019,56(1): 69-89.
[4]	刘立明, 王彬 . 气象网格环境下大数据的端到端传输机制研究[J]. 计算技术与自动化, 2014,33(1): 122-126.
	LIU L M , WANG B . Research of an endto-end transfer mechanism for big data in CMAGrid environment[J]. Computing Technology and Automation, 2014,33(1): 122-126.
[5]	王彬, 宗翔, 田浩 . 国家气象计算网格的设计与建立[J]. 应用气象学报, 2010,21(5): 632-640.
	WANG B , ZONG X , TIAN H . Design and establishment of a nationwide meteorological computational grid[J]. Journal of Applied Meteorological Science, 2010,21(5): 632-640.
[6]	European open science cloud[J]. Nature Genetics, 2016,48(8): 821.
[7]	DILLEY J , MAGGS B , PARIKH J ,et al. Globally distributed content delivery[J]. IEEE Internet Computing, 2002,6(5): 50-58.
[8]	RAMASWAMY L , LIU L , IYENGAR A . Scalable delivery of dynamic content using a cooperative edge cache grid[J]. IEEE Transactions on Knowledge and Data Engineering, 2007,19(5): 614-630.
[9]	SATYANARAYANAN M , BAHL P , CACERES R ,et al. The case for VMbased cloudlets in mobile computing[J]. IEEE Pervasive Computing, 2009,8(4): 14-23.
[10]	WILKINSON S STORJ a peer-to-peer cloud storage network[Z]. 2014.
[11]	CHEN B Q , YANG C Y , WANG G . Highthroughput opportunistic cooperative device-to-device communications with caching[J]. IEEE Transactions on Vehicular Technology, 2017,66(8): 7527-7539.
[12]	TAN H S , JIANG S H C , HAN Z H ,et al. Camul:online caching on multiple caches with relaying and bypassing[C]// Proceedings of IEEE Conference on Computer Communications. Piscataway:IEEE Press, 2019: 244-252.
[13]	CHERKASOVA L . Improving WWW proxies performance with greedy-dualsize-frequency caching policy[Z]. 1998.
[14]	KARGER D , LEHMAN E , LEIGHTON T ,et al. Consistent hashing and random trees:distributed caching protocols for relieving hot spots on the World Wide Web[C]// Proceedings of the 29th Annual ACM Symposium on Theory of Computing. New York:ACM Press, 1997: 654-663.
[15]	DAS A , GUPTA I , MOTIVALA A . SWIM:scalable weakly-consistent infectionstyle process group membership protocol[C]// Proceedings of International Conference on Dependable Systems and Networks. Piscataway:IEEE Press, 2002: 303-312.
[16]	BIRMAN K . The promise,and limitations,of gossip protocols[J]. ACM SIGOPS Operating Systems Review, 2007,41(5): 8-13.

类型	共享锁（S）	共享排他锁（SX）	排他锁（X）
共享锁（S）	兼容	兼容	冲突
共享排他锁（SX）	兼容	冲突	冲突
排他锁（X）	冲突	冲突	冲突

接口	接口规范	返回值	接口说明
缓存文件添加接口	POST /cache Json Value/r/n	Value 200 OK；500 Internal Server Error	管理接口，表示向边缘缓存添加指定全局路径对应的文件
缓存文件查询接口	POST /cache Json Value/r/n	Value 200 OK；500 Internal Server Error	管理接口，表示向边缘缓存查询指定全局路径对应的文件
缓存文件更新接口	POST /cache Json Value/r/n	Value 200 OK；500 Internal Server Error	管理接口，表示同步边缘缓存中指定全局路径对应的文件
缓存文件删除接口	POST /cache Json Value/r/n	200 OK；500 Internal Server Error	管理接口，表示删除边缘缓存中指定全局路径对应的文件
边缘缓存集群状态查询接口	GET /cluster	Value 200 OK；500 Internal Server Error	管理接口，表示获取边缘缓存服务节点集群状态信息
边缘缓存容量状态查询接口	GET /storage	Value 200 OK；500 Internal Server Error	查询边缘缓存、存储容量状态

接口	接口规范	参数说明
缓存元数据查询接口	CacheMetaEdgeCacheSearch(	global_path：文件全局路径；
	string global_path,	ioproxy_info：表示负责该文件的I/O代理信息；
	string ioproxy_info,	relative_path：I/O代理相对路径；
	string relative_path,	token：客户凭证；
	string token	return：缓存元数据信息；失败
	)
缓存文件写入接口	Int64 EdgeCacheWrite(	global_path：文件全局路径；
	string global_path,	ioproxy_info：表示负责该文件的I/O代理信息；
	string ioproxy_info,	buf：文件数据存储缓冲；
	string relative_path,	offset：文件写入起始位置；
	byte[]buf,	length：文件写入数据长度；
	int64 offset,	return：写入的数据量值（写入成功），-1（写入失败）
	int64 length
	)
缓存文件读取接口	Int64 EdgeCacheRead(	global_path：文件全局路径；
	string global_path,	ioproxy_info：表示负责该文件的I/O代理信息；
	string ioproxy_info	relative_path：I/O代理相对路径；
	string relative_path,	buf：文件数据存储缓冲；
	byte[]buf,	offset：文件读取起始位置；
	int64 offset,	length：文件读取数据长度；
	int64 length	return：读取的数据量值（读取成功），-1（读取失败）
	)
缓存文件关闭接口	Int64 EdgeCacheClose(	global_path：文件全局路径；
	string global_path,	ioproxy_info：表示负责该文件的I/O代理信息；
	string ioproxy_info,	relative_path：I/O代理相对路径；
	string relative_path	return：0（关闭成功），-1（关闭失败）
	)

网络环境	上行带宽	下行带宽	时延	抖动	丢包率
回环网络	7.8 GB/s	7.9 MB/s	0.04 ms	0.01 ms	0
局域网	117.8 MB/s	117.8 MB/s	0.12 ms	0.02 ms	0
广域网	4.6 MB/s	7.3 MB/s	21.22 ms	2.29 ms	1%

广域虚拟数据空间中边缘缓存系统的研究与实现

Research and implementation of edge cache system in global virtual data space across WAN

在线阅读

PDF下载

可视化

摘要/Abstract

引用本文

使用本文

图/表 27

参考文献 16

相关文章 4

Metrics

推荐阅读 0

[1]	沈逸, 姚旭, 朱扬勇. 数据自治开放与治理模式创新[J]. 大数据, 2018, 4(2): 14-20.
[2]	陈德华, 潘乔, 王梅, 乐嘉锦. 数据自治开放应用平台设计与实践[J]. 大数据, 2018, 4(2): 63-71.
[3]	蒋凡. 物流大数据标准及案例研究[J]. 大数据, 2017, 3(4): 60-66.
[4]	陈纯. 流式大数据实时处理技术、平台及应用[J]. 大数据, 2017, 3(4): 1-8.