大数据 ›› 2019, Vol. 5 ›› Issue (4): 41-49.doi: 10.11959/j.issn.2096-0271.2019031

• 专题:大数据的系统结构 • 上一篇    下一篇

一种软硬件结合的大数据访存踪迹收集分析工具集

李作骏1,2,潘海洋1,2,陈明宇1,2,包云岗1,2   

  1. 1 中国科学院大学,北京 100049
    2 中国科学院计算技术研究所先进计算机系统研究中心,北京 100190
  • 出版日期:2019-07-15 发布日期:2019-08-09
  • 作者简介:李作骏(1990- ),男,中国科学院大学博士生,主要研究方向为计算机系统结构。|潘海洋(1990- ),男,中国科学院大学博士生,主要研究方向为计算机系统结构。|陈明宇(1972- ),男,博士,中国科学院计算技术研究所研究员,主要研究方向为高性能计算机体系结构、操作系统及并行算法优化。|包云岗(1980- ),男,博士,中国科学院计算技术研究所研究员,计算机体系结构国家重点实验室教授,先进计算机系统研究中心主任,中国科学院大学岗位教授。担任中国计算机学会理事、普及工作委员会主任,中国科学院青年创新促进会理事。主要研究方向为计算机系统结构,主持研制多款达到国际先进水平的系统,在国际会议期刊发表了40余篇论文,相关技术在华为技术有限公司、阿里巴巴集团、英特尔公司等国内外企业应用,多次受邀担任ASPLOS、ISCA、MICRO、SC等国际会议的程序委员会委员。
  • 基金资助:
    “十三五”国家重点研发计划基金资助项目(2017YFB1001602)

A hybrid memory trace collection and analysis toolkit for big data applications

Zuojun LI1,2,Haiyang PAN1,2,Mingyu CHEN1,2,Yungang BAO1,2   

  1. 1 University of Chinese Academy of Sciences,Beijing 100049,China
    2 Center for Advanced Computer Systems,Institute of Computing Technology,Chinese Academy of Sciences,Beijing 100190,China
  • Online:2019-07-15 Published:2019-08-09
  • Supported by:
    The National Key Research and Development Program During the Thirteenth Five-Year Plan Period(2017YFB1001602)

摘要:

以Spark为代表的内存计算框架的兴起、新型非易失性内存研究的逐步深入以及数据安全形势的日益严峻,使得现有的访存行为分析工具无法满足对大数据应用访存行为进行分析的需求。提出了一种软硬件结合的大数据访存踪迹收集分析工具集,在由硬件收集的基本访存踪迹的基础上,结合软件信息同步及离线标注的方式,可以高速、准确、无失真地获取具备丰富语义信息的访存行为信息,且为大数据访存的实时安全监控提供了一种实现方式。最后,通过实验对一组真实的大数据应用进行了访存踪迹采集和分析。

关键词: 访存踪迹, 访存行为, 大数据

Abstract:

The rise of in-memory computing framework represented by Spark,the gradual deepening of new non-volatile memory research and the increasingly severe data security situation made the existing memory behavior analysis tools unable to meet the demand for big data applications.A software-hardware hybrid memory trace collection and analysis toolkit for big data applications was proposed.Based on the basic memory trace collected by hardware,the memory behavior information with rich semantic information can be obtained quickly,accurately and undistorted by combining software information synchronization and offline annotation.It also provides an implementation method for real-time security monitoring of large data access.Finally,a group of real big data applications were analyzed by this toolkit.

Key words: memory trace, memory behavior, big data

中图分类号: 

No Suggested Reading articles found!