大数据 ›› 2015, Vol. 1 ›› Issue (1): 89-103.doi: 10.11959/j.issn.2096-0271.2015.01.008

• 研究 • 上一篇    下一篇

大数据管理系统评测基准的挑战与研究进展

钱卫宁,夏帆,周敏奇,金澈清,周傲英   

  1. 华东师范大学数据科学与工程研究院 上海 200062
  • 修回日期:2015-05-07 出版日期:2015-05-20 发布日期:2020-09-28
  • 作者简介:钱卫宁,男,华东师范大学数据科学与工程研究院教授、博士生导师,研究兴趣包括互联网环境下的数据管理、大数据管理系统评测基准、社交媒体数据分析、知识图谱构建与应用等。|夏帆,男,华东师范大学数据科学与工程研究院博士生,研究兴趣包括分布式查询处理、社交媒体数据基准测试、社交媒体数据管理。|周敏奇,男,华东师范大学数据科学与工程研究院副教授、硕士生导师,研究兴趣主要包括内存事务处理系统、内存分析处理系统、计算广告学。|金澈清,男,华东师范大学数据科学与工程研究院教授、博士生导师,研究兴趣主要包括基于位置的服务、数据流管理、不确定数据管理和数据基准评测。|周傲英,男,华东师范大学长江学者特聘教授、数据科学与工程研究院院长,研究兴趣主要包括Web数据管理、数据密集型计算、内存集群计算、分布事务处理、大数据基准测试和性能优化。
  • 基金资助:
    国家自然科学基金资助项目(61432006);上海市教委科研创新重点项目(14ZZ045)

Challenges and Progress of Big Data Management System Benchmarks

Weining qian,Fan Xia,Minqi Zhou,Cheqing Jin,Aoying Zhou   

  1. Institute for Data Science and Engineering, East China Normal University, Shanghai 200062, China
  • Revised:2015-05-07 Online:2015-05-20 Published:2020-09-28
  • Supported by:
    The National Natural Science Foundation of China(61432006);The Shanghai Municipal Education Commission Scientific Research Innovation Key Project(14ZZ045)

摘要:

数据库评测基准在数据库发展历史中的作用不可替代,而大数据环境中传统评测基准不敷应用。因此,从评测基准3要素,即数据、负载、度量体系入手,研究具有高仿真性、可适配性、可测量性的大数据管理系统评测基准,对大数据管理系统的研发和应用系统选型至关重要。基于此,在简要分析评测基准的基本要素和大数据管理系统发展过程的基础上,重点分析大数据管理系统的基准评测需求与挑战,然后通过社交媒体分析型查询评测基准BSMA,探讨了面向应用的大数据管理系统基准评测的设计和实现问题。

关键词: 大数据管理系统, 评测基准, 数据生成, 负载生成, 性能度量体系

Abstract:

Database benchmarking has stimulated the development of data management systems and technologies. In big data environments, benchmarking should be revisited. Therefore, research on benchmarks for big data management systems is a key problem for big data research and applications. Benchmark design can be achieved from three different perspectives, i.e. data, workload, and performance measurements. After the brief introduction to these three elements and the progress of big data management system research, the requirements and challenges to benchmarking big data management systems were analyzed. Through the introduction to a benchmark for analytical queries over social media data, named as BSMA, the issues of design and implementation of a benchmark for big data management systems were discussed.

Key words: big data management system, benchmark, data generation, workload generation, performance measurement

中图分类号: 

No Suggested Reading articles found!