面向海量电子凭据的分层可扩展存储架构

doi:10.11959/j.issn.1000-436x.2019104

通信学报 ›› 2019, Vol. 40 ›› Issue (5): 79-87.doi: 10.11959/j.issn.1000-436x.2019104

面向海量电子凭据的分层可扩展存储架构

李凤华^1,²,李丁焱^1,²,金伟^1,²,王竹^1,²,郭云川¹,耿魁¹()

¹ 中国科学院信息工程研究所，北京 100093
² 中国科学院大学网络空间安全学院，北京 100049

修回日期:2019-05-09 出版日期:2019-05-25 发布日期:2019-05-30
作者简介:李凤华（1966- ），男，湖北浠水人，博士，中国科学院信息工程研究所研究员、博士生导师，主要研究方向为网络与系统安全、信息保护、隐私计算。|李丁焱（1993- ），男，山西临汾人，中国科学院信息工程研究所硕士生，主要研究方向为网络安全防护与管控。|金伟（1994- ），女，北京人，中国科学院信息工程研究所博士生，主要研究方向为访问控制。|王竹（1972- ），女，山西太原人，博士，中国科学院信息工程研究所高级工程师，主要研究方向为信息安全、安全协议、人工智能。|郭云川（1977- ），男，四川营山人，博士，中国科学院信息工程研究所副研究员，主要研究方向为访问控制、形式化方法。|耿魁（1989- ），男，湖北红安人，博士，中国科学院信息工程研究所助理研究员，主要研究方向为网络安全。
基金资助:
国家重点研发计划基金资助项目(2017YFB0802702);国家自然科学基金资助项目(61672515)

Hierarchical scalable storage architecture for massive electronic bill

Fenghua LI^1,²,Dingyan LI^1,²,Wei JIN^1,²,Zhu WANG^1,²,Yunchuan GUO¹,Kui GENG¹()

¹ Institute of Information Engineering,Chinese Academy of Sciences,Beijing 100093,China
² School of Cyber Security,University of Chinese Academy of Sciences,Beijing 100049,China

Revised:2019-05-09 Online:2019-05-25 Published:2019-05-30
Supported by:
The National Key Research and Development Program of China(2017YFB0802702);The National Natural Science Foundation of China(61672515)

摘要/Abstract

摘要：

电子商务等网络服务的兴起极大地促进了电子凭据业务的发展，传统数据存储方案无法满足海量电子凭据数据的快速访问需求。针对上述问题，提出了一种面向海量电子凭据的分层可扩展存储架构，结合hash取模算法和一致性hash算法实现快速的数据定位，设计了基于hash取模算法的横向扩展方案，减少了节点增删时迁移的数据量。此外，设计并实现了基于热数据的缓存方案和基于访问时延的负载均衡方案，进一步提升数据访问的速度。最后通过实验证明了所提架构与方案的有效性。

关键词: 海量数据, 电子凭据, 数据定位, 数据缓存, 负载均衡

Abstract:

The rise of e-commerce and other network services have greatly promoted the development of electronic bill service,while traditional data storage schemes can no longer satisfy the rapid access requirements of massive electronic bill data.To solve these problems,a hierarchical scalable storage architecture for massive electronic bill was proposed,which combined hash modular algorithm and consistent hash algorithm,and supported fast data locating.A horizontal expansion scheme based on hash modular algorithm was designed to reduce the amount of data that needed to migrate when adding or deleting data nodes.Besides,a data caching scheme based on hot data and a load balancing scheme based on access delay were designed and implemented,further improving the speed of data access.Finally,the experiments prove the effectiveness of proposed architecture and schemes.

Key words: massive data, electronic bill, data locating, data caching, load balancing

中图分类号:

TP311

李凤华,李丁焱,金伟,王竹,郭云川,耿魁. 面向海量电子凭据的分层可扩展存储架构[J]. 通信学报, 2019, 40(5): 79-87.

Fenghua LI,Dingyan LI,Wei JIN,Zhu WANG,Yunchuan GUO,Kui GENG. Hierarchical scalable storage architecture for massive electronic bill[J]. Journal on Communications, 2019, 40(5): 79-87.

图/表 10

图1

图2

图3

图4

表1

图5

图6

图7

图8

图9

参考文献 22

[1]	MAKRIS A , TSERPES K , ANDRONIKOU V ,et al. A classification of NoSQL data stores based on key design characteristics[J]. Procedia Computer Science, 2016,97: 94-103.
[2]	CORBELLINI A , MATEOS C , ZUNINO A ,et al. Persisting big data:the NoSQL landscape[J]. Information Systems, 2017,63: 1-23.
[3]	SIDDIQA A , KARIM A , GANI A . Big data storage technologies:a survey[J]. Frontiers of Information Technology and Electronic Engineering, 2017,18(8): 1040-1070.
[4]	DECANDIA G , HASTORUN D , JAMPANI M ,et al. Dynamo:Amazon’s highly available key-value store[J]. ACM SIGOPS Operating Systems Review, 2007,41(6): 205-220.
[5]	马友忠, 孟小峰 . 云数据管理索引技术研究[J]. 软件学报, 2015,26(1): 145-166.
	MA Y Z , MENG X F . Research on indexing for cloud data management[J]. Journal of Software, 2015,26(1): 145-166.
[6]	VICTOR Z , DIVYAKANT A , AMR E A . Caching at the web scale[J]. Proceedings of the VLDB Endowment, 2017(10): 2002-2005.
[7]	ASAF C , ASSAF E , MOHAMMAD A ,et al. Cliffhanger:scaling performance cliffs in web memory caches[C]// 13th USENIX Symposium on Networked Systems Design and Implementation. USENIX, 2016: 379-392.
[8]	JIANG Y . A survey of task allocation and load balancing in distributed systems[J]. IEEE Transactions on Parallel and Distributed Systems, 2016,27(2): 585-599.
[9]	LIU J , PACITTI E , VALDURIEZ P . A survey of scheduling frameworks in big data systems[J]. International Journal of Cloud Computing, 2018(7): 103-128.
[10]	AKRAM E , LARBI H , ABDERRAHIM M . The main characteristics of five distributed file systems required for big data:a comparative study[J]. Advances in Science,Technology and Engineering Systems Journal, 2017,2(4): 78-91.
[11]	邹立达, 李庆忠, 孔兰菊 ,等. 基于Chord的多租户索引机制研究[J]. 计算机学报, 2016,39(2): 270-285.
	ZOU L D , LI Q Z , KONG L J ,et al. Indexing mechanism of multi-tenant database based on Chord[J]. Chinese Journal of Computers, 2016,39(2): 270-285.
[12]	QAISAR J , AYESHA Z , MUHAMMAD A ,et al. Cache memory:an analysis on replacement algorithms and optimization techniques[J]. Mehran University Research Journal of Engineering and Technology, 2017,36(4): 831-840.
[13]	ZAIDENBERG N , GAVISH L , MEIR Y . New caching algorithms performance evaluation[C]// International Symposium on Performance Evaluation of Computer and Telecommunication Systems. 2015: 1-7.
[14]	CIDON A , EISENMAN A , ALIZADEH M ,et al. Dynacache:dynamic cloud caching[C]// USENIX Conference on Hot Topics in Cloud Computing. USENIX, 2015.
[15]	葛微, 罗圣美, 周文辉 ,等. HiBase:一种基于分层式索引的高效HBase查询技术与系统[J]. 计算机学报, 2016(1): 140-153.
	GE W , LUO S M , ZHOU W H ,et al. HiBase:a hierarchical indexing mechanism and system for efficient HBase query[J]. Chinese Journal of Computers, 2016(1): 140-153.
[16]	RATHORE N . Performance of hybrid load balancing algorithm in distributed web server system[J]. Wireless Personal Communications, 2018(101): 1233-1246.
[17]	REN G , JUEBO W . Dynamic load balancing strategy for cloud computing with ant colony optimization[J]. Future Internet, 2015,7(4): 465-483.
[18]	YANG Z X , ZHANG S Y , JI X Y ,et al. Research on cloud service quality control implementation based on improved load balance algorithm[J]. Journal of Computational Methods in Sciences and Engineering, 2018,18(3): 793-800.
[19]	HERBST N , AMIN A , ANDRZEJAK A ,et al. Online workload forecasting[C]// Self-Aware Computing Systems. 2017: 529-553.
[20]	邢屹 . 大规模键值分布式存储系统的设计与实现[D]. 成都:电子科技大学, 2013.
	XING Y . The design and implementation of a large-scale key-value distributed storage system[D]. Chengdu:University of Electronic Science and Technology of China, 2013.
[21]	佘楚玉, 温武少, 肖扬 ,等. 一种自适应文件系统元数据服务负载均衡策略[J]. 软件学报, 2017,28(8): 1952-1967.
	SHE C Y , WEN W S , XIAO Y ,et al. Adaptive load balancing strategy for file-system metadata service[J]. Journal of Software, 2017,28(8): 1952-1967.
[22]	JOANNA B , MACIEJ D . Comparing load-balancing algorithms for mapreduce under zipfian data skews[J]. Parallel Computing, 2018,72: 14-28.

设备	CPU	内存	硬盘	操作系统	数据库
g₀	8核，i7 3.4 GHz	8 GB	500 GB，7200 rpm	Centos7，64位	—
g₁	8核，i7 3.4 GHz	8 GB	500 GB，7 200 rpm	Centos7，64位	—
g₂	8核，i7 3.4 GHz	8 GB	500 GB，7 200 rpm	Centos7，64位	—
node₁	4核，i7 3.4 GHz	4 GB	1 TB，7 200 rpm	Centos7，64位	MySQL 5.6，64位
node₂	4核，i7 3.4 GHz	8 GB	1 TB，7 200 rpm	Centos7，64位	MySQL 5.6，64位
node₃	4核，i7 3.4 GHz	4 GB	1 TB，7 200 rpm	Centos7，64位	MySQL 5.6，64位
node₄	4核，i7 3.4 GHz	8 GB	1 TB，7 200 rpm	Centos7，64位	MySQL 5.6，64位

面向海量电子凭据的分层可扩展存储架构

Hierarchical scalable storage architecture for massive electronic bill

在线阅读

PDF下载

可视化

摘要/Abstract

引用本文

使用本文

图/表 10

参考文献 22

相关文章 15

Metrics

推荐阅读 0

[1]	沙宗轩, 霍如, 孙闯, 汪硕, 黄韬. 基于深度强化学习的转发效能感知流量调度算法[J]. 通信学报, 2022, 43(8): 30-40.
[2]	杨明川, 薛冠昌, 李清毅. 基于邻居卫星负载状态的低轨卫星分布式路由算法[J]. 通信学报, 2021, 42(8): 43-51.
[3]	孙爱晶, 李世昌, 张艺才. 基于PSO优化模糊C均值的WSN分簇路由算法[J]. 通信学报, 2021, 42(3): 91-99.
[4]	赖英旭,蒲叶玮,刘静. 基于最小代价路径的交换机迁移方法研究[J]. 通信学报, 2020, 41(2): 131-142.
[5]	陈伯文,符小东,雷雨. 频谱灵活光网络的故障概率与光纤链路负载均衡联合优化方法[J]. 通信学报, 2019, 40(9): 136-144.
[6]	陈果,张潍丰. ELAB：基于端系统的新型拥塞感知负载均衡机制[J]. 通信学报, 2019, 40(3): 196-205.
[7]	李莉,史国振,耿魁,董秀则,李凤华. 基于负载均衡的随机作业流密码服务调度算法[J]. 通信学报, 2018, 39(6): 11-19.
[8]	朱晓荣,张倩. 面向多业务需求的NFV和SDN融合的资源优化算法[J]. 通信学报, 2018, 39(11): 54-62.
[9]	胡涛,张建辉,孔维功,杨森,曹路佳. SDN中基于双向匹配的多控制器动态部署算法[J]. 通信学报, 2018, 39(1): 159-169.
[10]	王雅慧,况鸿凤,朱立东. 中轨卫星星座系统容量分析[J]. 通信学报, 2017, 38(Z1): 193-199.
[11]	胡涛,张建辉,孔维功,杨森,曹路佳. SDN中基于过程忧化的交换机竞争迁移算法[J]. 通信学报, 2017, 38(8): 213-222.
[12]	胡涛,张建辉,马腾,赵伟. SDN中基于可靠性评估的多控制器均衡部署策略[J]. 通信学报, 2017, 38(11): 188-198.
[13]	曹傧,夏士超,何芳,李云. 无线网络虚拟化中的映射算法研究[J]. 通信学报, 2017, 38(1): 35-43.
[14]	史霄波,张引,赵杉,肖登明. 基于离散多目标优化粒子群算法的多移动代理协作规划[J]. 通信学报, 2016, 37(6): 29-37.
[15]	贾濡,郜帅,罗洪斌,张宏科,万明. 智慧协同网络中基于流量矩阵的负载均衡路由机制[J]. 通信学报, 2016, 37(4): 128-138.