大数据 ›› 2015, Vol. 1 ›› Issue (1): 55-67.doi: 10.11959/j.issn.2096-0271.2015.01.005

• 专题:大数据关键技术 • 上一篇    下一篇

大数据与OLAP系统

杜小勇,陈跃国,覃雄派   

  1. 中国人民大学信息学院数据工程与知识工程教育部重点实验室 北京 100872
  • 修回日期:2015-05-10 出版日期:2015-05-20 发布日期:2020-09-28
  • 作者简介:杜小勇,男,博士,中国人民大学信息学院教授、博士生导师,中国计算机学会会士,数据库专家委员会委员、大数据专家委员会委员,人民邮电出版社《大数据》期刊编委会副主任,Springer出版社《Communications of Computer and Information Systems》系列编委,主要研究方向为智能信息检索、高性能数据库、知识工程。主持和参与多项国家核高基(核心电子器件、高端通用芯片及基础软件产品)、“973”计划、“863”计划、国家自然科学基金项目,近年来在SIGMOD、VLDB、AAAI、IEEE TKDE等国际重要期刊和会议上发表论文百余篇。|陈跃国,男,博士,中国人民大学信息学院副教授、硕士生导师,中国计算机学会高级会员,大数据专家委员会通信委员,Frontiers of Computer Science青年编委,主要研究方向为大数据分析系统和语义搜索。主持国家自然科学基金项目2项,参与多项国家核高基(核心电子器件、高端通用芯片及基础软件产品)、“973”计划、“863”计划项目,近年来在ICDE、AAAI、IEEE TKDE等国际重要期刊和会议上发表论文30余篇。|覃雄派,男,博士,中国人民大学信息学院讲师、硕士生导师,目前主要从事高性能数据库、大数据分析、信息检索等方面的研究工作,主持1项国家自然科学基金面上项目,参与多项国家“863”计划、“973”计划及国家自然科学基金项目,在国内外期刊和会议上发表论文20余篇。
  • 基金资助:
    国家自然科学基金面上项目“高度可扩展的数据仓库数据编码方法及查询处理新技术研究”(61170013);中国人民大学科学研究基金(中央高校基本科研业务费专项资金)资助项目(14XNLQ06);国家社会科学基金重大项目“云计算环境下的信息资源集成与服务研究”(12&ZD220)

Big Data and OLAP Systems

Xiaoyong Du,Yueguo Chen,Xiongpai Qin   

  1. Key Laboratory of Data Engineering and Knowledge Engineering, School of Information, Renmin University of China, Beijing 100872, China
  • Revised:2015-05-10 Online:2015-05-20 Published:2020-09-28
  • Supported by:
    The National Science Foundation of China Under Grant(61170013);The Fundamental Research Funds for the Central Universities, the Research Funds of Renmin University of China(14XNLQ06);The National Social Science Foundation of China : Major Research Project(12&ZD220)

摘要:

OLAP(online analytical processing,在线联机分析处理)是关系数据基础上实现商业智能的核心技术。在大数据时代,人们迫切希望在由普通机器组成的大规模集群上能实现高性能的OLAP,然而系统性能的挑战巨大。可喜的是,近年来进展迅速,涌现了很多以Hadoop上的数据进行OLAP的所谓SQL on Hadoop系统,并且系统性能不断提升。在综述OLAP技术发展的基础上,重点对几个有代表性的SQL on Hadoop系统进行了测试分析,并展示了这类系统的性能特点。可以预见,未来在低成本的大数据OLAP市场,这类系统会占有重要位置。

关键词: 大数据, OLAP, SQL分析, SQLonHadoop

Abstract:

OLAP (online analytical processing) is a key technology of business intelligence based on relational data. In big data era, people want to achieve high performance OLAP using a large cluster of ordinary nodes. However, the performance of such systems is a big challenge. Recently, many SQL on Hadoop systems have been proposed to address this challenge. We have seen a significant performance improvement of such systems. A survey of technology development of OLAP technologies was first provided. Then, a study of the performance of three representatives SQL on Hadoop systems was focused on. Based on the results, it is expected that such systems will play an very important role in the market of low cost OLAP analysis.

Key words: big data, online analytical processing, SQL analysis, SQL on Hadoop

No Suggested Reading articles found!