大数据 ›› 2020, Vol. 6 ›› Issue (4): 81-91.doi: 10.11959/j.issn.2096-0271.2020035

• 专题:大数据异构并行系统 • 上一篇    下一篇

大数据场景中语言虚拟机的应用和挑战

吴明瑜1,2,陈海波1,2,臧斌宇1,2   

  1. 1 领域操作系统教育部工程研究中心,上海 200240
    2 上海交通大学软件学院并行与分布式系统研究所,上海 200240
  • 出版日期:2020-07-15 发布日期:2020-07-18
  • 作者简介:吴明瑜(1993- ),男,上海交通大学软件学院博士生,主要研究方向为语言虚拟机和非易失性内存|陈海波(1982- ),男,博士,上海交通大学教授、并行与分布式系统研究所所长,领域操作系统教育部工程研究中心主任,国家杰出青年基金获得者,国际计算机学会(ACM)杰出科学家,中国计算机学会(CCF)杰出会员与杰出演讲者,主要研究方向为操作系统和系统安全。曾获教育部技术发明奖一等奖(第一完成人),全国优秀博士学位论文奖、CCF青年科学家奖。目前担任ACM SIGOPS ChinaSys主席、CCF系统软件专业委员会副主任、Communications of the ACM中国首位编委与Special Sections领域共同主席、ACM Transactions on Storage编委、《大数据》期刊编委。曾任ACM SOSP 2017大会共同主席、ACM CCS 2018系统安全领域主席、ACM SIGSAC奖励委员会委员。研究工作获得华为技术有限公司最高个人贡献奖、Google Faculty Research Award、IBM X10 Innovation Award、NetApp Faculty Fellowship等企业奖励|臧斌宇(1962- ),男,博士,上海交通大学教授、软件学院院长。2011年全国优秀博士学位论文指导教师,2015年“挑战杯”全国竞赛特等奖指导教师。兼任国务院学位委员会软件工程学科评议组成员、教育部高等学校软件工程专业教学指导委员会副秘书长、全国工程教育专业认证专家委员会计算机类专业认证分委员会委员、CCF杰出会员、国家示范性软件学院联盟副理事长。主要从事系统软件方向的研究,致力于计算机核心课程的教学改革。近年来在SOSP、USENIX ATC、Eurosys、ASPLOS、ISCA、HPCA、PPoPP等国际会议上发表论文20余篇。主持多项国家级科研项目
  • 基金资助:
    国家自然科学基金资助项目(61672345)

Applications and challenges of language virtual machines in big data

Mingyu WU1,2,Haibo CHEN1,2,Binyu ZANG1,2   

  1. 1 Engineering Research Center for Domain-Specific Operating Systems,Ministry of Education,Shanghai 200240,China
    2 Institute of Parallel and Distributed Systems,School of Software,Shanghai Jiao Tong University,Shanghai 200240,China
  • Online:2020-07-15 Published:2020-07-18
  • Supported by:
    The National Natural Science Foundation of China(61672345)

摘要:

语言虚拟机为大数据应用提供了与平台无关的执行环境,简化了应用的开发和部署,因此在大数据场景中得到了较广泛的应用。主要分析了两种主流语言虚拟机——JVM和CLR在大数据场景中的应用,并阐述了使用语言虚拟机面临的4个挑战:初始化及“热身”开销、垃圾回收暂停、异构内存支持、数据格式转换。之后,分别针对4个挑战讨论了现有的解决方案,并分析了这些方案的不足之处及未来可能的优化方向。

关键词: 语言虚拟机, 垃圾回收, 异构内存

Abstract:

Language virtual machines provide a platform-independent execution environment for big-data applications and simplify their development and deployment phases,so they are widely used in the big-data scenario.The applications of two different kinds of mainstream language virtual machines:JVM and CLR,were analyzed,and four challenges when adopting language virtual machines:initialization and warm-up overhead,garbage collection pauses,heterogeneous memory support,and data layout transformation,were summarized.Afterward,existing approaches to the challenges were discussed and their shortcomings and possible optimizations in the future were analyzed.

Key words: language virtual machines, garbage collection, heterogeneous memory

中图分类号: 

No Suggested Reading articles found!