通信学报 ›› 2013, Vol. 34 ›› Issue (Z2): 5-8.doi: 10.3969/j.issn.1000-436x.2013.Z2.002

• 网络工程 • 上一篇    下一篇

基于IPFIX的网络流量日志系统

马云龙,张千里,王继龙   

  1. 清华大学 信息化技术中心,北京 100084
  • 出版日期:2013-12-25 发布日期:2017-06-16
  • 基金资助:
    国家重点基础研究发展计划(“973”计划)基金资助项目

Network traffic analysis system based on IPFIX

Yun-long MA,Qian-li ZHANG,Ji-long WANG   

  1. Information Technology Center,Tsinghua University,Beijing 100084,China
  • Online:2013-12-25 Published:2017-06-16
  • Supported by:
    The National Basic Research Program of China(973 Program)

摘要:

针对高速网络海量数据采集、存储和管理问题,分析了传统IPFIX流量日志系统在高速网络中的性能问题,提出了基于IPFIX协议的用户网络流量日志系统体系结构的优化设计,改进了数据聚类和存储算法,包括二元归井方式采集数据以及多层结构的散列算法存储数据。经校园网部署应用证明,可提供万兆链路下用户网络日志详单及准确上网流量计量值。

关键词: IPFIX, 散列, 流量日志, 海量数据处理

Abstract:

To deal with the large-scale traffic capture and management in high speed network,the performance of IPFIX system was studied.An optimized architecture was proposed and implemented based on improved binary information integration to collect data and improved multi-layer hash algorithm to storage data.This system was deployed in Tsinghua university campus network and can scale to the 10 GB network traffic collection and accurate pricing.

Key words: IPFIX, hash, traffic log, large-scale data processing

[1] 王 晖,魏敦楷,沈 骏,蒋凤仙. 多泵浦反向激励的拉曼光纤放大器的实现[J]. 通信学报, 2006, 27(7): 18 -116 .
[2] 魏蛟龙,岑朝辉. 基于蚁群算法的区域覆盖卫星星座优化设计[J]. 通信学报, 2006, 27(8): 11 -66 .
[3] 张 弛,于世洁,尤 政. 高分辨率双快门模式CMOS图像传感器控制电路的设计与仿真[J]. 通信学报, 2006, 27(8): 28 -159 .
[4] 张晓军,崔 建,马 皓,张 蓓. 10 Gbit网络访问控制网关的设计与实现[J]. 通信学报, 2014, 35(Z1): 1 -4 .
[5] 傅洪亮,酆广增. 基于天线阵列的一种预处理LCLSCM多用户检测算法[J]. 通信学报, 2005, 26(8): 11 -71 .
[6] 陈山枝,时 岩,胡 博. 移动性管理理论与技术的研究[J]. 通信学报, 2007, 28(10): 18 -133 .
[7] 汪 宏,李 宝,于 伟. 特征3有限域上椭圆曲线的Montgomery算法[J]. 通信学报, 2008, 29(10): 4 -29 .
[8] 王继红,石文孝,李玉信,金 凤,王春悦. 无线Mesh网络部分重叠信道分配综述[J]. 通信学报, 2014, 35(5): 19 -154 .
[9] 韩来权1,2,汪晋宽1,王兴伟1,2. 基于可编程路由技术的MPLS单标签分流传输算法[J]. 通信学报, 2014, 35(5): 20 -159 .
[10] 邹剑1,2,吴文玲1,吴双1,董乐1,2. 对缩减轮数DHA-256的原像与伪碰撞攻击[J]. 通信学报, 2013, 34(6): 2 -15 .