基于Hadoop的高效分布式取证：原理与方法

doi:10.3969/j.issn.1000-0801.2014.01.005

摘要/Abstract

摘要：

随着信息技术的发展以及各种智能设备的普及，设备的平台多样化使得现有电子数据勘查取证分析装备已不能满足网络和存储技术所需要的高速数据镜像存储和海量数据相关性分析等要求，并表现出操作复杂、效率低等缺陷。设计并实现了一种高效的基于Hadoop的分布式取证系统，它能够支持多介质并行取证的工作场景，并通过调度控制服务将不同的证据介质中的数据存储到不同的分布式数据存储服务器上，每个取证任务运行时都可以独占一个取证介质，从而实现多介质的并行取证分析。实验数据显示，搜索一个2～4GB的文本数据的响应时间可以达到仅0.1s。

关键词: Hadoop, 分布式系统, 取证, 海量数据, 多介质

Abstract:

With the development and popularization of information technology and intelligence device, the diversity of different device making forensic analysis of existing equipment cannot meet today's networking and storage technology requirements, and exhibit complex operation, low efficiency, on high speed disk image storage and massive data correlation. An efficient distributed forensics system based on Hadoop technique, which can support multiple concurrent media scene forensics work, was designed and implemented, and through the dispatch control services would be evidence of different data storage media to a different distributed data storage server, each forensic task runtime could monopolize a forensic medium to achieve a parallel multiple media forensic analysis. Data show that responsible acknowledge duration will be 0.1 s for a 2～4 GB text file.

Key words: Hadoop, distributed system, forensic, massive data, multiple media

吴松洋,张熙哲,王旭鹏,李祥学. 基于Hadoop的高效分布式取证：原理与方法[J]. 电信科学, 2014, 30(1): 31-38.

Songyang Wu,Xizhe Zhang,Xupeng Wang,Xiangxue Li. An Efficient Distributed Forensic System Based on Hadoop:Principle and Method[J]. Telecommunications Science, 2014, 30(1): 31-38.

图/表 13

图1

图2

图3

图4

图5

图6

图7

图8

图9

图10

图11

表1

表2

参考文献 16

1	Wang X Q . How to discover the truth in data. China Information Security, 2009 （11）:23～24
2	Intel Corporation. Understanding the Flash Translation Layer （FTL）Specification, December 1998
3	King C , Vidas T . Empirical analysis of solid state disk data retention when used with contemporary operating systems. Digital Investigation, 2011 （8）:111～117
4	Wikipedia Apache Hadoop.,2013
5	Analyzing big data with Hadoop, decorated a new history. , 2011
6	Zhou W C , Tao T , Boon T L , et al. Declarative secure distributed information systems. Computer Languages,Systems and Structures, 2013,39 （1）:1～24
7	Jens D , Jorge-Arnulfo . Efficient big data processing in Hadoop MapReduce. Proceedings of the VLDB Endowment, 2012,5 （12）:2014～2015
8	Prashant S , Kamalakar K . A multi-agent simulation framework on small Hadoop cluster. Engineering Applications of Artificial Intelligence, 2011,24 （7）:1120～1127
9	Wang S G , Su W , Zhu X L , et al. A Hadoop-based approach for efficient web service management. International Journal of Web and Grid Services, 2013,9 （1）:18～34
10	Wu T Y , Chen C Y , Kuo L S , et al. Cloud-based image processing system with priority-based data distribution mechanism, 2012,35 （15）:1809～1818
11	Zhao M , Mao R , Jiang R . Transparent encryption file system model based on filter driver.Computer Engineering, 2009 （15）:51
12	Kathleen E , Shrideep P . On the performance of high dimensional data clustering and classification algorithms. Future Generation Computer Systems, 2013,29 （4）:1024～1034
13	Satish N S , Pelle J , Eero V . Adapting scientific computing problems to clouds using MapReduce. Future Generation Computer Systems, 2012,28 （10）:184～192
14	Jiang D W , Deng C O , Shi L , et a. The performance of MapReduce: an in-depth study. Proceedings of the VLDB Endowment, 2010,3 （1/2）:472～483
15	Erik R . The Odd couple: hardware and software. IEEE Micro, 2012,32 （4）:2～2
16	Neal L . Bringing big analytics to the masses. Computer, 2013,46 （1）:20～23

	核心网络/Gbit/s	数据存储/TB	搜索（2～4GB文本数据）	可用性（单个CPU最大支持文本）/GB
non-Hadoop	10	200	＞0.6s	10
Hadoop-V	8	200	～0.3s	50
Hadoop-A	10	300	～0.1s	100

取证分析	Hadoop集群耗时/s	non-Hadoop集群耗时/s
50 GB镜像（完整）	296	260
100 GB镜像（完整）	515	495
200 GB镜像（完整）	980	972
500 GB镜像（完整）	2 300	2 277
500 GB镜像（分割成10份）	362	2 287
1 TB镜像（完整）	4 534	4 494
1 TB镜像（分割成10份）	585	4 615
2 TB镜像（完整）	9 729	9 589
2 TB镜像（分割成10份）	1 070	9 709

[1]	王源,江昊,吴明,姚冬桂,张毅,羿舒文,汪海,吴静. 基于用户移动网络接入位置的高效分布式相似矩阵计算方法[J]. 电信科学, 2018, 34(5): 26-38.
[2]	李成岭,郑雨翔,洪祎祺,李雯,郭慧敏. 电网数据存储技术选型的研究[J]. 电信科学, 2018, 34(5): 183-191.
[3]	彭巍,贺晓东,陆小铭,汲传鑫. 运营商DNS海量数据分析技术优化和应用[J]. 电信科学, 2018, 34(3): 138-144.
[4]	刘俊文,崔硕,李晓勐,李志宏,李扬. 基于海量实时监控数据的服务影响分析及可视化展现[J]. 电信科学, 2018, 34(3): 192-196.
[5]	徐海勇,黄岩. 基于PaaS技术的大数据云化平台实践[J]. 电信科学, 2018, 34(1): 148-157.
[6]	石恩名,肖晓军,卢宇. 基于云平台的分布式高性能网络爬虫的研究与设计[J]. 电信科学, 2017, 33(8): 180-186.
[7]	裴安山,王让定,严迪群. 基于语音静音段特征的手机来源识别方法[J]. 电信科学, 2017, 33(7): 103-111.
[8]	方艾,张玉忠,徐雄,金铎. 基于MapR的IPTV用户收视行为分析的方案与实践[J]. 电信科学, 2017, 33(2): 138-144.
[9]	裴安山,王让定,严迪群. 基于设备本底噪声频谱特征的手机来源识别[J]. 电信科学, 2017, 33(1): 85-94.
[10]	汪保友,钱晶,袁时金. 基于Hadoop的电信大数据采集方案研究与实现[J]. 电信科学, 2017, 33(1): 135-142.
[11]	刘南海,雷蕾,王睿. 大数据时代运营商分析支撑域转型的实践与思考[J]. 电信科学, 2016, 32(8): 146-158.
[12]	谭造乐,郝志峰,蔡瑞初,肖晓军,卢宇. 基于信息增益的Hadoop瓶颈检测算法[J]. 电信科学, 2016, 32(7): 115-120.
[13]	李远宁,刘森,张诗军,陈丰,王志英. 分布式数据质量管理系统在电力企业的实践和应用[J]. 电信科学, 2016, 32(4): 169-174.
[14]	公怀予,徐劲松,王攀. 一种关联感知的大数据导入方法[J]. 电信科学, 2016, 32(3): 130-134.
[15]	谷红勋,杨珂. 基于大数据的移动用户行为分析系统与应用案例[J]. 电信科学, 2016, 32(3): 139-146.