介绍了现有数据资源管理模式,并指出了其中存在的问题;提出了数据自治开放模式,并介绍了数据自治开放技术。数据自治开放模式有望成为数据开放的基本模式,是政府数据开放共享、企业及个人数据交易、国家数据主权实现的一种可行方法。
当前政府治理日趋离不开对数据资源的妥善管理和运用,在此过程中面临的最主要的难题是如何实现有效的数据共享。为解决这一难题,提出了数据自治的概念,认为可以在明确数据资源权属并界定必要的使用—维护成本的情况下,由政府相关部门自主推进数据资源的开放共享。经过比较分析,认为以数据自治为基础的开放政府建设是一条中国特色的实践路径,不仅能够服务于中国,而且能够为当今世界解决类似难题做出重要贡献。
在数据自治开放模式中,数据使用者可以将数据上传到应用软件或下载数据到其设备中。其中面临的问题首先是让数据使用者看得见有哪些数据,其次是如何合理组织数据方便应用软件使用、计量和管控。提出了一个数据盒模型作为数据自治开放环境下的基本数据模型,介绍了数据盒的基本要素组成及运作系统架构,说明了该数据模型的具体实施方式。
数据自治开放是数据开放的一种新形式,能保护数据拥有者的合法权益。数据自治开放这一新的数据开放模式要求软件开发和运行环境能从应用的需求描述、应用开发和调试、应用运行监控等方面进行全方位的支持。给出了支持数据自治开放的软件开发和运行环境的总体设计,阐述了支持软件行为管控的数据自治开放应用开发全过程,从而实现数据自治开放中数据的全生命周期管理,说明了建设数据自治开放的软件开发运行基础设施的可行性。
数据开放对于提升数据资源的应用价值具有十分重要的意义。但是出于隐私保护的考虑,数据开放应该是有监管的开放,即采取数据自治开放模式。针对数据自治开放可能给隐私保护带来的挑战,提出了面向数据盒的隐私保护系统框架。该系统框架针对数据使用者的数据使用声明进行隐私泄露风险评估,并在评估结果的基础上决定是否授权许可相应的数据使用请求,以支持数据自治开放的实现。
数据自治开放以数据盒为基本数据单元向数据使用者开放,因此数据资源稀缺性丧失和隐私泄露等问题的防范主要针对数据盒。一个数据盒可能包含照片、视频、文本和结构化数据等,传统的数据加密技术无法有效应用。系统分析了数据盒对数据加密的需求和传统数据加密技术面临的挑战,探讨了面向数据自治开放的加密新型技术的展望。
围绕数据自治开放的数据管理新模式,提出了一套面向数据自治开放应用的整体解决方案,讨论了该解决方案的整体框架、系统功能及接口。针对数据提供者和数据使用者,对数据自治的数据逻辑组织、数据安全描述接口、查询描述接口等应用系统构建的关键技术进行了介绍。最后以医疗领域三级诊疗应用系统为例,探索了数据自治开放应用实践。
针对气象公众服务存在的专业化程度不高、针对性不强等问题,提出了一种使用关联规则向用户推荐气象服务产品的方法。将用户访问的Web日志数据经过清洗、转换后进行关联规则挖掘,同时设计了一种基于气象产品浏览总次数计算产品相似度的算法,对挖掘出来的关联规则进行筛选。共进行了5组实验,并对用户浏览产品的行为进行了简单预测。实验结果表明,挖掘出的规则在降水天气和雾霾天气中的正确率比较高,结合气象服务产品的相似度能过滤掉10%的无效规则,从而提升规则的正确性。
传统集中式数据处理系统由于摩尔定律的逐渐失效,开始显露出性能瓶颈,无法有效支撑当前业务的快速发展。同时由于安全、成本、政策等原因,原有集中式数据处理系统向分布式数据处理系统转型成为必经之路。从分布式事务处理系统的发展背景、优势及挑战、技术特点、应用要点、未来发展方向等方面介绍了分布式事务处理系统的意义、现状及趋势,为后续分布式事务处理系统的应用及发展提供了理论基础和指导。
针对大数据系统计算技术现状与问题,系统地介绍了大数据系统计算技术国家工程实验室的大数据系统计算技术创新平台。创新平台以研制自主可控、通用性强的大数据计算平台为核心目标,解决高性能大数据计算中的共性问题,开展大数据示范性应用研发。创新平台的建设将提升国家大数据创新能力,满足我国大数据技术与应用重大需求,促进我国大数据技术服务产业发展壮大,助力我国大数据“双创”生态环境成熟完善。
金融行业需要大数据技术支持数字化转型,但大数据技术体系复杂、组件快速变化、产品有效运维等问题越来越成为金融行业数字化转型的瓶颈。阐述了金融行业数据处理中面临的问题,结合银行业务发展需求,分析了基于开源技术的商用大数据平台GoldenData HD的系统架构、技术难点和主要特性。通过具体应用案例,展示了GoldenData HD的应用效果,该平台有效提升了数据存储容量、查询处理速度和应用业务创新,为金融企业的数字化转型提供了有力支撑。
近年来,垃圾短信问题层出不穷,严重侵害了广大用户的通信权益。详细分析了垃圾短信治理面临的挑战、存在的问题及解决思路,利用人工智能手段,设计了一套基于指纹算法的垃圾短信大数据自动识别系统,对新系统的整体架构、工作流程和关键技术进行了详细的阐述。该新系统可以高效治理垃圾短信,全力对抗非法短信侵袭。