数据产品在线定制平台的探索实践

doi:10.11959/j.issn.2096-0271.2016072

大数据 ›› 2016, Vol. 2 ›› Issue (6): 118-128.doi: 10.11959/j.issn.2096-0271.2016072

数据产品在线定制平台的探索实践

张峰¹,孙宗哲²,刘建楠³,宋杰²

¹ 国家海洋信息中心，天津 300171
² 东北大学软件学院，辽宁沈阳 110819
³ 中国石油庆阳石化公司，甘肃庆阳 745115

出版日期:2016-11-20 发布日期:2017-04-27
基金资助:
国家自然科学基金资助项目;国家自然科学基金资助项目;数字海洋开放基金资助项目;教育部博士点基金资助项目;教育部—英特尔信息技术专项科研基金资助项目

Research and practice on online data production platform

Feng ZHANG¹,Zongzhe SUN²,Dennis Reagan OCHORA²,Jiannan LIU³,Jie SONG²

¹ National Marine Data and Information Service,Tianjin 300171,China
² Software College,Northeastern University,Shenyang 110819,China
³ Petro China Qingyang Petrochemical Company,Qingyang 745115,China

Online:2016-11-20 Published:2017-04-27
Supported by:
The National Natural Science Foundation of China;The National Natural Science Foundation of China;Digital Ocean Open Foundation;Doctoral Fund of Ministry of Education of China

摘要/Abstract

摘要：

大数据时代，研究机构与企事业单位拥有海量的科学或产业数据（包括海洋、气象、地质、石油化工等行业的数据），可为客户提供分析后的数据产品。目前，这些机构尚未形成服务化的数据产品提供方式。分析了现有数据产品平台的缺陷与挑战，提出了数据产品在线定制平台的需求，设计了平台的体系结构，并对研究平台的服务化数据分析算法接口、数据安全性和隔离性保障、数据产品定价模型进行了详细探索实践，最后给出了在线定制平台的应用示例描述。

关键词: 云计算, 大数据, 数据分析算法接口, 数据即服务, 数据产品定价

Abstract:

In the big data era,the research institutes and enterprises manage massive scientific data of various disciplines,such as oceanography,meteorology,geology and petroleum,and service the clients with the analysis results that are treated as data products.Traditionally,these institutes do not provide the service-oriented production platform for data products.The shortages and challenges of the production process were analyzed,the new requirements of online production platform for scientific data product was proposed,the architecture of platform was designed,and key techniques including the serviceoriented interface for data analysis algorithms,mechanisms of data security and isolation,and the pricing model for data product were studied.Finally,the application of online production platform as a case study was explained.

Key words: cloud computing, big data, interface for data analysis algorithm, data as a service, data products pricing

张峰, 孙宗哲, 刘建楠, 宋杰. 数据产品在线定制平台的探索实践[J]. 大数据, 2016, 2(6): 118-128.

Feng ZHANG, Zongzhe SUN, Dennis Reagan OCHORA, Jiannan LIU, Jie SONG. Research and practice on online data production platform[J]. Big Data Research, 2016, 2(6): 118-128.

图/表 8

图1

图2

图3

图4

图5

表1

图6

表2

参考文献 8

[1]	张峰, 石绥祥, 殷汝广 ,等. 数字海洋中数据体系结构研究[J]. 海洋通报, 2009,28(4): 1-8. ZHANG F , SHI S X , YIN R G ,et al. A study of data architecture in digital ocean[J]. Marine Science Bulletin, 2009,28(4): 1-8.
[2]	ALBERTO P . Technologies for large data management in scientific computing[J]. International Journal of Modern Physics C,Physics and Computers, 2014,25(2): 343-352.
[3]	YOUSEFF L , BUTRICO M , SILVA D D . Toward a unified ontology of cloud computing[C]// The Grid Computing Environments Workshop,Nov.12-16,2008, Texas,USA. New Jersey: IEEE Press, 2008: 1-10.
[4]	AZEEZ A , PERERA S , GAMAGE D ,et al. Multi-tenant SOA middleware for cloud computing[C]// The 2010 IEEE 3rd International Conference on Cloud Computing,July 5-10. Miami,Florida,USA. New Jersey: IEEE Press, 2010: 458-465.
[5]	FENG X , SHEN J , FAN Y . REST:an alternative to RPC for web services architecture[C]// The Future Information Networks,October 14-17,2009, Beijing,China. New Jersey: IEEE Press, 2009: 7-10.
[6]	LOMOTEY R K , DETERS R . Analyticsas-a-service (AaaS) tool for unstructured data mining[C]// 2014 IEEE International Conference on the Cloud Engineering (IC2E),March 11-14,2014, Boston,MA,USA. New Jersey: IEEE Press, 2014: 319-324.
[7]	KULKARNI G , GAMBHIR J , PATIL T ,et al. A security aspects in cloud computing[C]// 2012 IEEE 3rd International Conference on the Software Engineering and Service Science (ICSESS),June 22-24,2012. Beijing,China. New Jersey: IEEE Press, 2012: 547-550.
[8]	CAZEMIER H , RASMUSSEN G D . Query engine and method for querying data using metadata model:U.S.Patent 6,609,123[J]. 2012-8-19.

URI	描述
ID	返回所有可使用的数据类型及其ID
/data/{type_ID}/	返回指定ID类型的数据集的核心元数据，包括数据集可操作范围和描述
/data/{type_ID}/	使用指定ID类型下指定范围的数据集作为算法分析的数据来源，可重复添加以使用不同数据
use/{range_ID}/
{range_head_ID}/…
{range_tail_ID}/…
/algorithm	返回所有可用的算法接口及其ID
/algorithm/	返回指定ID的算法接口描述，包括输入的数据类型和数目以及输出的数据类型和数目
{algorithm_ID}
/algorithm/	使用指定ID的算法接口，输入数据为指定序号的数据集、指定序号的算法返回数据的集合，
{algorithm_ID}/…/	第i个URI标识为“data”的数据集序号即为i，第j个URI标识为“algorithm”的算法序号即为j
use_data/
{use_data_ID}/…/
use_algorithm/
{use_algorithom_ID}/…

应用前	应用后	效果
产品名称不同但数据相同或相似，这些产品会被视为不同的产品被不同的制作人重复地制作和保存	产品或复用或可以通过现有产品的再次加工得到	产品可复用
产品制作方法的分享只能依靠口头阐述或文档规范	产品制作时产生的知识和数据，如算法和流程，都可以统一地管理和复用	产品制作过程可复用
用户更多的是选择现有的常规产品。新需求则只能通过文字或口头描述，由产品制作人员理解后加以实现	大部分产品可以由用户通过选择算法来定制	产品可定制
由于自动化程度不高导致产品制作效率低	减少了数据准备、算法实现、流程控制等阶段的人工参与，制作效率明显提高	产品制作效率提高
很多大产品都需要从零做起，算法执行时间长	化整为零，大产品由小产品组成，小产品可以复用现有产品或重新制作	产品制作效率提高
工作流程基本是一种约定俗成的现行做法，关键步骤有相关条例约束	整个产品生成流程均制度化，关键步骤更为丰富，且原来零散的条例更整体化	流程更为规范

[1]	钱海红, 王茂异, 熊贇. 高等教育数字化转型的现状与发展研究[J]. 大数据, 2023, 9(3): 56-70.
[2]	梅宏, 杜小勇, 金海, 程学旗, 柴云鹏, 石宣化, 靳小龙, 王亚沙, 刘驰. 大数据技术前瞻[J]. 大数据, 2023, 9(1): 1-20.
[3]	沈阳, 余梦珑. 元宇宙与大数据：时空智能中的数据洞察与价值连接[J]. 大数据, 2023, 9(1): 103-110.
[4]	郑童哲恒, 李斌, 冯敏萱, 常博林, 王东波. 历史典籍的结构化探索——《史记·列传》数字人文知识库的构建与可视化研究[J]. 大数据, 2022, 8(6): 40-55.
[5]	陈静. 人文大数据及其在数字人文领域中的应用[J]. 大数据, 2022, 8(6): 3-14.
[6]	罗煜楚, 吴昊, 郭宇涵, 谭绍聪, 刘灿, 蒋瑞珂, 袁晓如. 数字人文中的可视化[J]. 大数据, 2022, 8(6): 74-93.
[7]	李汶龙, 袁媛, 安筱鹏. 刍议大数据治理的三大基础思维[J]. 大数据, 2022, 8(4): 34-45.
[8]	汤奇峰, 邵志清, 叶雅珍. 数据交易中的权利确认和授予体系[J]. 大数据, 2022, 8(3): 40-53.
[9]	王陈慧子, 蔡玮. 元宇宙数字经济：现状、特征与发展建议[J]. 大数据, 2022, 8(3): 140-150.
[10]	杨玫, 李玮, 乔思渊, 刘巍. 中国大数据产业产值测算方法研究[J]. 大数据, 2022, 8(3): 151-160.
[11]	李德仁, 张过, 蒋永华, 沈欣, 刘伟玲. 论大数据视角下的地球空间信息学的机遇与挑战[J]. 大数据, 2022, 8(2): 3-14.
[12]	仇晓兰, 胡玉新, 上官松涛, 付琨. 遥感卫星大数据高精度一体化处理技术[J]. 大数据, 2022, 8(2): 15-27.
[13]	刘伟权, 王程, 臧彧, 胡倩, 于尚书, 赖柏锜. 基于遥感大数据的信息提取技术综述[J]. 大数据, 2022, 8(2): 28-57.
[14]	刘建强, 叶小敏, 兰友国. 我国海洋卫星遥感大数据及其应用服务[J]. 大数据, 2022, 8(2): 75-88.
[15]	杨何群, 王晓峰, 高彦青, 陆一闻, 麻炳欣, 王昕瑶. 数值天气预报对卫星大数据的需求分析[J]. 大数据, 2022, 8(2): 89-102.

数据产品在线定制平台的探索实践

Research and practice on online data production platform

在线阅读

PDF下载

可视化

摘要/Abstract

引用本文

使用本文

图/表 8

参考文献 8

相关文章 15

Metrics

推荐阅读 0