世界主要国家高度重视大数据发展，我国也将发展大数据作为国家战略，发展大数据技术具有重要意义。大数据技术涉及从采集、传输到管理、处理、分析、应用的全生命周期以及生命周期各阶段的数据治理。选取数据生命周期中的管理、处理和分析技术以及大数据治理技术来梳理国内外技术发展现状，特别是研判我国大数据技术发展与国际先进技术之间的差距。另外，在大数据应用需求的驱动下，计算技术体系正面临重构，从“以计算为中心”向“以数据为中心”转型，在新的计算技术体系下，一系列基础理论和核心技术问题亟待破解，新型大数据系统技术成为重要发展方向。在计算体系重构的背景下，提出大数据技术发展的四大技术挑战和十大发展趋势。
3D舞蹈是元宇宙中虚拟人的一种重要表现形式，它将音乐与舞蹈进行有机结合，大大增强了元宇宙中相关应用的趣味性。之前的工作通常把3D舞蹈生成简单视作一个序列生成任务，但是生成的舞蹈动作质量较差且与音乐的契合度较低。受人类学习舞蹈过程的启发，提出了一种新颖的3D舞蹈框架——“节奏舞者”来解决上述问题。该框架首先使用VQ-VAE-2对舞蹈进行分层编码量化，可有效改善舞蹈生成质量；然后使用节奏点上的关键动作编码建立关键动作转换图，既可保证生成的舞蹈动作与音乐节拍的契合度，又可增加舞蹈动作的多样性。为了确保关键动作之间平滑自然地连接，提出了一个姿态插值网络来学习关键动作之间的转换动作。通过大量实验证明，该框架避免了长序列生成的不稳定和不可控问题，实现了舞蹈动作与音乐节奏的高度契合，达到了当前最优效果。
公共数据开放利用有利于促进数字经济高质量发展。我国积极出台相关政策引导公共数据开放利用，多个地方出台了有关公共数据开放利用的地方规章和法规条例，但国家层面尚缺少针对公共数据开放利用的法律法规。与我国相比，欧盟持续发布和修订公共数据开放利用相关指令，加快促进数字经济领域技术创新。梳理了我国公共数据开放利用的相关做法，分析了欧盟开放数据和公共部门信息再利用指令的主要内容，结合我国国情，提出对我国公共数据开放利用的相关启示，希望为进一步完善我国公共数据开放利用政策法规和机制、推动我国公共数据深度共享和有序开放提供借鉴。
随着数据要素市场建设的推进，“数商”的概念越来越得到广泛关注。然而，什么是“数商”，以及“数商”的内涵、角色、定位、职责等，目前尚未有清晰的界定，这不利于数据交易生态体系的建设。研究了现有数据商品、数据商人、数据商业可能的类别，界定了数据商品、数据商人和数据商业的概念，基于数据的属性，将信息商品、数字商品和数据商品统一成数据商品；依据数据的商业活动，将数据商人分为数据供应商、数据服务商、数据贸易交易商三大类；分析归纳了自产自销模式、运营平台代理模式、数据交易场所模式3种数据商业模式。本文的研究丰富了“数商”内涵，为数据市场建设提供了理论支持。
基于LSM-Tree的键值存储已经得到广泛使用。LSM-Tree通过将更新的数据缓存在内存中、随后批量写入磁盘的优化措施取得极高的写性能。然而，在基于LSM-Tree的键值存储中，被更新键值对的旧数据不会立即从存储系统中清除，导致整个存储系统中积累大量的无效数据，最终会显著降低键值存储的读性能。针对以上问题，提出一种更积极的压缩（compaction）方法，通过记录键值对更新的历史信息，识别出更新热点，在整个LSM-Tree存储系统中寻找无效数据大量聚集的SSTable，尽早实施压缩，清除无效数据，缓解写放大效应，从而提升读性能。实验表明，该方法能够降低LevelDB 65.2%的平均读时延、69.4%的99%读尾时延以及71.4%的写放大。
随着移动设备的普及，海量的数据在不断产生。数据隐私政策不断细化，数据的流动和使用受到严格监管。联邦学习可以打破数据壁垒，联合利用不同客户端数据进行建模。由于用户使用习惯不同，不同客户端数据之间存在很大差异。如何解决数据不平衡带来的统计挑战，是联邦学习研究的一个重要课题。利用元学习的快速学习能力，为不同数据节点训练不同的个性化模型来解决联邦学习中的数据不平衡问题成为一种重要方式。从联邦学习背景出发，系统介绍了联邦学习的问题定义、分类方式及联邦学习面临的主要问题。主要问题包括：隐私保护、数据异构、通信受限。从联邦元学习的背景出发，系统介绍了联邦元学习在解决联邦学习数据异构、通信受限问题及提高恶意攻击下鲁棒性方面的研究工作，对联邦元学习的工作进行了总结展望。
元宇宙对时空影响的实质是对时空节点进行数据智能化，并通过虚拟世界对物理世界予以仿真与反馈，而大数据是在此过程中提升人类对世界洞察力的核心手段。从元宇宙概念演绎与定义逻辑出发，梳理了元宇宙“小中大全”4个不同层级的概念维度，并基于对大数据洞察本质的9点思考，提出了5层数据关联模型。从一元宇宙系统的建立再到多元宇宙系统的连接，分别探索元宇宙中的数据产生、数据攫取、数据结构分析与数据价值挖掘等问题，分析在嵌套与融合元宇宙中空间数据、时间数据与国际数据的互联问题，以期通过数据洞察与价值连接更好地认知世界、描述世界与改造世界。
针对传统轨迹数据保护中忽略位置点携带的语义信息带来的隐私泄露问题，提出一种基于指数机制的轨迹差分隐私保护方法。针对位置空间属性及位置语义特征双重属性信息导致的隐私泄露，根据差分隐私中指数机制的特性，为位置点设计可用的打分函数后随机化输出，对轨迹进行了有效的隐私保护。该方法在保证位置隐私的同时减小数据集规模，并防止语义背景推断攻击，提高数据可用性。在真实轨迹数据集上进行实验，实验结果表明，该方法可以保证隐私强度，有效保护了用户的停留区域位置隐私，同时有效提高了数据可用性。
信息技术的发展推动了科学研究范式的转变。近年来，社科人文领域也逐渐发展出了数据驱动的研究方式。从可视化的角度，对国际数字人文大会论文进行分析，从任务、数据和应用视角3个层面总结了当前可视化在数字人文中的应用现状。通过分析从人文、可视化技术、艺术3种角度出发的数字人文项目，揭示了多学科交叉对提高数字人文与可视化结合项目质量的巨大潜力。同时，分享了北京大学在探究这种多学科交叉合作新范式的实践，包括交叉人才的教育、学科交叉融合的科普以及相关智能可视化技术的研究等方面。最后讨论了通过探索更好的人与人之间合作及人与计算机之间的协作来促进数字人文与可视化学科交叉发展的展望。
人文大数据是指基于数字化或者数字生成的，被认为是人文艺术范畴的大规模数据集。与科学、工程及社会科学数据相比，人文大数据是一种“深层数据”，其来源更加混杂、格式更加多样、维度更加多元、数据层次更加复杂、内涵更加丰富，因此在数据分析过程中存在较大困难。针对人文大数据的特点，结合数字人文研究应用中的关键问题，突出人文大数据作为一个集体概念的复杂情况及可能存在的误区，彰显人文大数据的价值。
近年来，新浪微博、推特等社交网络平台逐渐成为反映社会舆情的主要载体之一，为网民发表观点和表达情绪提供了便利。基于社交网络大数据的舆情监控已经成为新的研究热点，利用各国的社交网络大数据进行民众情感监测，有助于直接掌握国际关系中的民众情感倾向，对我国外交、对外贸易等方面都有很重要的作用。基于此，提出了一种面向中日语料的民众情感监测系统，该系统能够同时分析新浪微博和推特等社交平台的中日文语料数据中包含的情感倾向，并以可视化的形式展现给用户。情感分析算法方面，在BERT模型基础上结合自扩展的中日文情感词典，提出了一个新的情感分析模型——EmoBERT。实验结果表明，相比于原始BERT模型，EmoBERT模型在中文情感分类任务和日文情感分类任务上都取得了很好的表现。其中中文模型EmoBERT-C将中文BERT模型准确率从89.68%提升至92.15%，日文模型EmoBERT-J将日文BERT模型准确率从74.73%提升至78.26%。
情感分析是对信息情感倾向的挖掘，主要用于舆情监测、商品评论分析以及信息检索等方面。随着社交媒体的快速发展，文本数据量呈现爆炸性增长，文本情感分析成为自然语言处理领域重要的研究热点之一。与此同时，由于情感数据具有海量、时变、非结构性、强关联性的特点，能够直观高效地呈现情感倾向的可视分析技术在这个领域得到广泛应用。回顾了近年来的情感可视分析研究，从表现形式——“主题词”“关联”“演变”“时空分布”4个方面阐述文本情感可视分析方法，并对未来情感分析技术及文本情感可视分析研究进行展望。
数字人文旨在采用现代计算机网络技术助力传统人文研究，文言历史古籍是进行历史研究和学习的重要基础，但由于其写作语言为文言文，与现代所用的白话文在语法和词义上均有较大差别，因此不易于阅读和理解。针对上述问题，提出基于预训练模型对历史古籍中的实体和关系等进行知识抽取的方法，从而有效获取历史古籍文本中蕴含的丰富信息。该模型首先采用多级预训练任务代替BERT原有的预训练任务，以充分捕获语义信息，此外在BERT模型的基础上添加了卷积层及句子级聚合等结构，以进一步优化生成的词表示。然后，针对文言文标注数据稀缺的问题，构建了一个面向历史古籍文本标注任务的众包系统，获取高质量、大规模的实体和关系数据，完成文言文知识抽取数据集的构建，评估模型性能，并对模型进行微调。在构建的数据集及GulianNER数据集上的实验证明了提出模型的有效性。
随着元宇宙的用户不断增多，数据量也相应地增长，这给元宇宙的数据管理带来了挑战。大数据管理技术对元宇宙的实现至关重要。对元宇宙中的数据管理技术进行了讨论，将元宇宙分解为云、边、端3个层次，分析了元宇宙中的大数据的特点和数据管理特点，讨论了面向元宇宙的云边端数据管理的4个挑战，并从数据模型、数据同步、数据存取、查询优化4个方面提出相应的研究路线。
元宇宙是对现实世界虚拟化、数字化的过程，融合了多种技术。虚拟现实和区块链是构建元宇宙的底层技术，但两者在数据处理和算力需求上有很大不同。为了解决元宇宙中区块链和虚拟现实的数据异构、算力异构等问题，提出“元算中心”的概念，并且在硬件架构上将元算中心、区块链节点、边缘服务器组成算力网络。元算中心集中处理元宇宙虚拟场景渲染数据与虚拟人物的交互；数字资产和个人信息利用区块链在多个分布式节点上进行脱敏存储；边缘服务器敏捷响应用户请求，并作为区块链的轻节点存储部分信息。在软件架构上，结合硬件架构设计分层处理模型，将模型数据、资产数据等异构数据放在不同软件层处理。最后结合软硬件架构，设计并实现了元宇宙购物商城原型系统，为将来的元宇宙应用提供一定的参考。
文本标注是文本分析挖掘中的重要一步，面对大规模古籍资源，人工标注无法满足人文研究需求，且古籍语法结构和语言特点特殊，现代文本标注技术很难直接用于古籍研究。在分析人文研究者进行古籍文本标注中面临的难点和痛点的基础上，提出普适性的古籍标注标准流程，给出基于MARKUS的文本标注模型，并通过具体实践，探索基于该模型的古籍文本标注方法，旨在助推借助数字人文工具改变古籍人文研究方式，拓宽研究规模的应用深度。
中国古代典籍文献浩如烟海，蕴藏了大量的历史人文知识。以电子化和全文检索为主要方法的古籍数字化开发应用模式已经成为语言文学、历史、哲学等学科的重要基础资源和工具。随着人工智能与大数据技术的发展，数字人文的研究范式不断演进，将传统典籍的文本转换为高度结构化的新型数字人文数据库是一项新的探索，将文本中词汇、人物、地理实体等要素有机组织起来，对于历史现象可视化、历史规律量化具有重大意义。以《史记·列传》为对象，进行古汉语自动分词及词性标注、人工校对以及实体信息人工标注，形成多层次、高质量的数字人文知识库，实现包含古籍词汇、人物、地点等要素的定量分析与可视化检索，挖掘出《史记·列传》人物和地点分布情况、人物关系、人地关系等信息。得出：《史记·列传》共出现人物1 787位、地点1 173个；相比《史记·本纪》和《史记·世家》，《史记·列传》特有人物共1 092位，特有地点共556个。本文研究内容为古籍数字人文知识库的构建提供了新的思路与框架。
空气污染与人们的健康和经济社会的发展息息相关。然而，监测站点分布稀疏，无法提供细粒度的空气污染物浓度。此外，现有的空气污染物浓度推断方法缺乏实时处理相关数据的能力，具有滞后性。为了解决上述问题，提出了一种基于数字孪生技术的元宇宙空气污染物浓度推断模型。该模型将现实数据映射到元宇宙空间中，并构建数据仓库，通过构建空气污染物特征库实现对空气污染物浓度的实时精确推断。实验结果表明，该模型能提高空气污染物浓度推断的准确性和有效性。
随着互联网技术的不断提升，元宇宙因其虚实结合的沉浸式互动场景，对教育领域的发展产生了极大的影响。针对如何构建高质量教育资源共享社区的问题，首先分析教育元宇宙社区的特征，然后设计教育元宇宙社区框架结构，最后提出教育元宇宙社区面临的挑战与策略，以期为新时代教育的发展提供参考。
元宇宙的兴起和发展为法律监管带来了挑战。元宇宙不是法外之地，也需要讲法治，要在法治的轨道上正确运行。首先，梳理了元宇宙的技术性、商业性、社会性、跨国性等发展特征，分析了其带来的风险挑战和国内外应对立场；其次，分析了元宇宙的网络安全、个人信息与隐私保护、数据治理、虚拟资产、生态治理、平台责任以及网络犯罪等主要法律难题；最后，提出了依法规范元宇宙发展的思路，坚持安全可控的发展原则，适度超前布局元宇宙法律规则，立足问题导向，通过立、改、废、释等立法手段推进重点领域法律监管，实现良法善治。
随着智慧警务的兴起，民众报警渠道拓宽，非结构化警情激增，警情实体识别难度增大。针对这一业务痛点，引入BERT模型获取词向量，融合自注意力机制来捕获文字之间的长距离依赖关系，并构建BERTBiGRU-SelfAtt-CRF警情实体识别模型。为了验证模型的性能和泛化能力，在公开数据集上进行了实验。为了验证模型在警情领域的可行性和效率，在构建的警情数据集上进行了实验。实验结果表明，提出的模型在警情数据集上的精确率达到了82.45%，召回率达到了79.03%，F1值达到了80.72%，优于其他模型。可见，提出的模型可以满足实际公安工作需要，是可行、有效的。
科学数据利用的需求日益迫切，且在“第四范式”“融合科学”等新型科研范式带来的开放协作环境下，呈现出跨边界、端到端、动态性和协作化的特征。作为“数据仓储时代”的产物，FAIR、TRUST原则已无法为开放协作环境下科学数据的高效利用提供深入的指导。详细分析了科学数据利用的典型场景，提出开放协作环境下促进科学数据利用的PARIS原则：可处理（processable）、可问答（askable）、可信赖（reliable）、可联合（incorporable）与可供给（suppliable），并重点分析了PARIS原则对科学数据可用性的促进作用。最后，探讨了实现PARIS原则可参考的技术路径。作为FAIR、TRUST原则的有益扩展，期望PARIS原则能有效提升科学数据的可用性。
数据资产价值评估是现代数据资产管理和运营以及数据流通的基础。基于数据全生命周期理论，从第一性原则出发，通过评估单张数据资产表的成本、数据管理以及数据应用价值，实现对单张数据资产表的系统性评估。利用数据仓库和图算法等技术，以层为单位，每层分摊，血缘路径继承，精确计算得到单张数据资产表的成本价值；然后利用层次分析法得到数据资产非经济因素权重，进而得到数据资产阶梯价值；最后通过实例分析验证了新方法的合理性和可行性。
随着数据能力的提升和新兴技术的发展，经济形态和行业竞争格局正在发生深刻变化。为了能更好地应对未来的机遇和挑战，提高新格局下企业的竞争力，有必要理解和掌握数字化转型的有关内容。论述了传统企业将逐渐被新型企业取代的新竞争格局，辨析了数字化与数字化转型二者的区别，指出了传统企业在开展数字化转型时主要面临缺资金、缺人才、缺数据、缺意识等方面的挑战，提出了面向新竞争格局的数字化转型服务平台，为企业竞争力建设和数字化转型提供了一个可行方案。
预测科研热点可以有效地开展科学研究和更好地分配科学资源。数据挖掘和机器学习算法已经被广泛应用到科研热点预测中，比如基于论文文本内容的主题模型建模和挖掘论文被引频次的算法等。提出一种新的将关键词信息嵌入双曲空间的双曲空间关键词图嵌入（PKGM）算法，利用关键词和它们之间的关系构建一个关键词网络，通过计算双曲空间中两个节点的距离来判别两个节点之间存在边的概率，从而对科研热点进行预测。该算法与7个基准算法的实验比较结果显示，PKGM算法与效果最好的欧氏空间嵌入算法相比有7.3%的AUROC和5.8%的AP提升；与双曲图神经网络算法相比，有10.8%的AUROC和7.2%的AP提升。这显示了PKGM算法的有效性。
元宇宙已在医药、制造、金融产业、教育和公共服务等领域有所讨论，但基于虚拟现实的应用场景并未真正实现“现实-虚拟-现实”回路交互方式。其交互模式也没有真正意义上赋予虚拟世界等同现实世界的意识和感知。以医药为例，探讨了生成式人工智能大模型在元宇宙生命体中的前瞻应用和挑战，包括数字化生物细胞，构建数字化细胞之间的连接和数字神经元等，以促进元宇宙生命体具有与物理世界一致的感知和生物化学反应，从而赋能医药领域的发展。针对目前元宇宙和生成式人工智能大模型各自的优缺点，进一步讨论通过巧妙设计人机协同机制，促进人与元宇宙生命体在医药中的有意识交互。
推进数字化转型成为实现教育高质量发展的关键。基于国内外教育数字化现状的调研，分析了教育数字化转型的核心、发展阶段及其技术。梳理了我国高等教育数字化转型面临的挑战，聚焦教学和管理，从数据、技术、人才等角度提出建议，探索高等教育数字化转型发展解决方案，为促进教育数字化提供参考。
