云数据中心集群间网络性能优化的探讨

doi:10.11959/j.issn.1000-0801.2015116

摘要/Abstract

摘要：

现代的大规模云计算任务往往需要多个集群协作完成，因此，规划连接集群的网络、保证网络的性能具有重要意义。通过介绍一次集群间网络的性能问题及其解决过程的真实案例，对数据中心集群间网络性能优化进行了探讨。这个案例来源于一个用于大规模实时数据处理的数据中心，在一次大规模并发任务中发现，在带宽并未完全使用的情况下发生了严重的分组丢失现象。基于对拓扑结构的分析，对性能瓶颈进行了定位。通过搭建测试环境并进行实际测试，对性能瓶颈的来源进行了发掘，发现是某交换机在链路未满负荷时由于处理能力和缓存不足造成的。最后，基于模型，分析了各个要素对于性能的影响，并基于分析结果设计了基于增加帧长度的解决方案。

关键词: 集群网络, 性能优化, 吞吐量

Abstract:

Modern large-scale cloud computing tasks often balance the load across multiple clusters. For this reason，to plan the network connecting the clusters and to provide satisfying network performance are of important significance. Based on the description of inter-cluster network performance problem and its resolving process，the inter-cluster network performance optimization was discussed. This case came from a data center for rea1-time large-scale data processing，where the bandwidth was not fully used but severe packet loss happened in case of large-scale concurrent tasks. Based on the analysis of topology，performance bottleneck was located. By building a test environment and the actual testing，the performance bottleneck was found：it was a switch lack of processing power and cache. Finally，the various elements related with the performance were analyzed，and a solution based on increasing the frame length was proposed.

Key words: cluster network, performance optimization, throughput

蒋多元,陈海雄. 云数据中心集群间网络性能优化的探讨[J]. 电信科学, 2015, 31(5): 138-142.

Duoyuan Jiang,Haixiong Chen. Discussion of Inter-Cluster Network Performance Optimization in Cloud Data Center[J]. Telecommunications Science, 2015, 31(5): 138-142.

图/表 8

图1

图2

表1

表2

图3

图4

图5

图6

参考文献 13

1	Jain S ， Kumar A ， Mandal S ， et al. B4：experience with a globally-deployed software defined WAN. Proceedings of the ACM SIGCOMM 2013 Conference on SIGCOMM， Hong Kong，China， 2013
2	Hong C Y ， Kandula S ， Mahajan R ， et al. Achieving high utilization with software-driven WAN. Proceedings of the ACM SIGCOMM 2013 Conference on SIGCOMM， Hong Kong，China， 2013
3	McKeown N ， Anderson T ， Balakrishnan H ， et al. OpenFlow：enabling innovation in campus networks. SIGCOMM Computer Commununication Review， 2008，38（4）：69～74
4	Laoutaris N ， Sirivianos M ， Yang X ， et al. Inter-datacenter bulk transfers with netstitcher. Proceedings of the ACM SIGCOMM 2011 Conference， Toronto，Ontario，Canada， 2011
5	Mahimkar A ， Chiu A ， Doverspike R ， et al. Bandwidth on demand for inter-data center communication. Proceedings of the 10th ACM Workshop on Hot Topics in Networks， Cambridge，Massachusetts， 2011
6	Nandagopal T ， Puttaswamy K P N . Lowering inter-datacenter bandwidth costs via bulk data scheduling. Proceedings of the 12th IEEE/ACM International Symposium on Cluster，Cloud and Grid Computing（CCGrid 2012）， Ottawa，Canada， 2012
7	Kandula S ， Menache I ， Schwartz R ， et al. Calendaring for wide area networks. Proceedings of the 2014 ACM Conference on SIGCOMM， Chicago，Illinois，USA， 2014
8	Wilson C ， Ballani H ， Karagiannis T ， et al. Better never than late：meeting deadlines in datacenter networks. Proceedings of the ACM SIGCOMM 2011 Conference， Toronto，Ontario，Canada， 2011
9	Vamanan B ， Hasan J ， Vijaykumar T N . Deadline-aware datacenter TCP （D2TCP）. Proceedings of the ACM SIGCOMM 2012 Conference on Applications，Technologies，Architectures，and Protocols for Computer Communication， Helsinki，Finland， 2012
10	Lee C ， Jang K ， Moon S . Reviving delay-based TCP for data centers. Proceedings of the ACM SIGCOMM 2012 Conference on Applications，Technologies，Architectures，and Protocols for Computer Communication， Helsinki，Finland， 2012
11	Liu Y J ， Gao P X ， Wong B ， et al. Quartz：a new design element for low-1atency DCNs. Proceedings of the 2014 ACM Conference on SIGCOMM， Chicago，Illinois，USA， 2014
12	Murray D ， Koziniec T ， Lee K ， et al. Large MTUs and internet performance. Proceedings of IEEE the 13th International Conference on High Performance Switching and Routing（HPSR）， Belgrade，Serbia， 2012
13	Hogg S . Jumbo frames. ， 2013

消息大小	服务器A→服务器B	服务器A→服务器C	服务器A→服务器D
default	30.5 μs	31 μs	47.2 μs
1 KB	53.2 μs	52.3 μs	68.3 μs
4 KB	69.2 μs	73.6 μs	94.8 μs
8 KB	125 μs	125 μs	127 μs
32 KB	336 μs	335 μs	335 μs
64 KB	607 μs	613 μs	708 μs
256 KB	2.26 ms	2.5 ms	2.27 ms
1 024 KB	8.85 ms	8.73 ms	8.89 ms

消息大小	服务器C→服务器B	服务器C→服务器A	服务器C→服务器D
default	15.8 μs	30.9 μs	29 μs
1 KB	31.7 μs	52.3 μs	52.3 μs
4 KB	62.7 μs	113 μs	112 μs
8 KB	125 μs	125 μs	125 μs
32 KB	222 μs	335 μs	335 μs
64 KB	267 μs	611 μs	615 μs
256 KB	357 μs	2.51 ms	2.24 ms
1 024 KB	1.48 ms	8.77 ms	8.77 ms

[1]	葛海江, 贾宁, 池凯凯, 陈云志. 非线性能量收集认知无线电网络的次用户吞吐量最大化方案[J]. 电信科学, 2023, 39(2): 103-117.
[2]	魏贵明, 张翔, 郭宇航, 乔尚兵. 5G信道建模与性能测试方法[J]. 电信科学, 2021, 37(2): 15-21.
[3]	严杰,宋荣方. 多载波多用户下行NOMA系统的资源分配算法[J]. 电信科学, 2019, 35(11): 1-8.
[4]	易冰,陈永丽,赵瑞雪. 毫米波5G网络中D2D通信的资源分配方案[J]. 电信科学, 2019, 35(1): 138-146.
[5]	黄昱恺,耿金坤,令瑞林,李丹. NFV数据平面的网络性能优化技术[J]. 电信科学, 2017, 33(4): 65-70.
[6]	许瑞琛,詹达诲,房骥,杜昊,李华圣. 同频邻频干扰下1.8 GHz频段CBTC工作频段和布站间隔优化[J]. 电信科学, 2017, 33(4): 101-113.
[7]	赵季红,董姣姣,唐睿,曲桦. 蜂窝通信与设备直通通信混合网络下的资源优化[J]. 电信科学, 2016, 32(3): 105-112.
[8]	文志成. LTE多用户下行吞吐量性能建模分析[J]. 电信科学, 2016, 32(10): 150-156.
[9]	莫红枝. 一种基于全双工的无线网络MAC协议设计与性能分析[J]. 电信科学, 2015, 31(8): 107-112.
[10]	康亮,宋连波,孙龙,朵灏. 4G移动通信终端数据吞吐量测试研究[J]. 电信科学, 2015, 31(6): 86-91.
[11]	赵振东,牛伟娇,韩东升,丁莎莎. 异构无线网络中边缘用户小区选择算法[J]. 电信科学, 2015, 31(12): 52-57.
[12]	肖正瑛,谢显中,张森林. 碰撞约束和非理想感知下认知多址接入信道的有效吞吐量[J]. 电信科学, 2015, 31(12): 64-69.
[13]	王凯,张亮,谭国平. 一种新颖的3D有源天线基站组网波束下倾角选择方法[J]. 电信科学, 2015, 31(1): 2015007-.
[14]	王凯,张亮,谭国平. 一种新颖的3D有源天线基站组网波束下倾角选择方法[J]. 电信科学, 2015, 31(1): 84-88.
[15]	唐宏,欧亮. 网络功能虚拟化中的网络转发性能优化技术研究[J]. 电信科学, 2014, 30(11): 135-139.