1 引言
近年来,知识图谱技术得到极大的发展,大量的知识图谱被构建出来,并被广泛应用在各种场景下。从语义解析、实体消歧、信息抽取、智能问答、推荐系统、个性化搜索等技术方向到金融、军工、制造业、生物医药等行业,都可以看到知识图谱的应用,同时知识图谱的应用也在促进知识图谱技术的发展。
知识图谱是事实或知识的结构化表示,是由实体和实体间的关系组成的网状结构。实体是指独立的、拥有清晰特征的、能够区别于其他事物的事物。在知识图谱中,用来描述这些事物的信息即实体。实体在属性图中用顶点来表示,实体关联的类型即实体类型,在属性图中用顶点标签来表示。关系表达了两个实体之间的某种语义关系,通常以语义标签来表示,在属性图中表示为有向的边。也就是说,知识图谱G由一系列的三元组<h,r,t>组成,其中h和t分别表示头实体和尾实体,r表示由h到t的有向关系。
推理是一种人类逻辑思维,让机器能够像人类一样拥有推理能力一直是人工智能发展的目标。符号推理和专家系统是早期的尝试,在知识图谱被提出和发展起来之后,基于知识图谱的推理技术[1 -2 ] 也随之发展,并成为人工智能中非常热门的领域之一,也被认为是人工智能迈向具备和人类一样的推理和决策能力的关键技术。
在知识图谱推理中,知识图谱本身提供了人类知识和经验的总结,推理技术则实现了基于知识图谱中已有的知识来发现潜在的、未知的知识,极大地扩展了诸如知识问答、个性化搜索和智能推荐等能力。同时,在行业应用中,将领域知识图谱和推理技术结合,从而实现辅助分析和决策支持。
本文给出了知识推理的定义,并介绍了知识图谱推理技术;然后分别介绍了现代的基于几何运算和基于深度学习的知识图谱推理技术,并分别从技术领域和行业领域两个角度介绍了知识图谱推理技术的应用;最后给出了知识图谱推理存在的挑战以及值得关注的研究方向。
2 知识图谱推理
知识图谱推理旨在从已有的知识中发现新的知识。对于知识图谱来说,新的知识可以分为两种:新的实体和新的关系。新的实体涉及的技术领域通常是实体抽取、实体消歧、实体融合等相关的自然语言处理或知识图谱技术。新的关系涉及的技术领域则有关系抽取和知识推理等。知识图谱推理,或称知识推理,指在既定的知识图谱中通过推理技术推导出实体间潜在的或者新的关系,发现新的知识。在图数据库、图论等相关领域往往又被称为链接预测。
知识图谱推理技术是伴随着人工智能、自然语言处理、语义网等技术发展起来的。早期有基于规则的方法,著名知识图谱NE LL[3 ] 利用手写规则的推理方法来不断扩充规模。一阶逻辑(first order logic,FOL)是早期的一种符号推理系统,也被用于知识图谱推理[4 ] 。针对手写规则烦琐的问题,可采用将规则与统计学习结合的马尔可夫逻辑网(Markov logic network,M LN )[5 ,6 ,7 ] ,MLN是经典的推理方法。知识图谱的层次结构和逻辑结构往往被表示为本体(ontology)或模式(schema),基于本体的推理方法是知识图谱推理的经典方法之一,也是现实应用中很有 意义的方法[8 ] 。随机游走(random walk)是概率统计中经典的随机过程,将其应用于知识图谱推理中产生了著名的路径排序算法(path ranking algorith m, PRA)[9 ] 及其与深度强化学习结合的深度路径(deep path)方法[10 ] 。近年来,随着以深度学习为基础的人工智能技术的蓬勃发展,将知识图谱嵌入低维空间的方法逐渐成为主 流,TransE[11 ] 是其中的先锋。
本文关注的知识图谱推理方法是从TransE开始的,它源自自然语言处理领域的word2vec[12 ] ,是当前效果最好的、主流的、契合深度学习潮流的方法,也被称为现代的方法。这类方法可学习出知识图谱的稠密向量表示,是知识图谱领域的表示学习。对于学习出的稠密向量,既可以直接进行推理应用,也便于使用各种深度学习模型和算法来实现下游任务,如知识问答或辅助决策等。
知识图谱G={<h,r,t>}⊆E×R×E,其中E为实体集合,h、t∈E;R为关系集合,r∈R。现代知识图谱推理方法的目标是通过定义一个打分函数fr (h,t)来学习出表示实体和关系的向h , t ∈ ℝ d r , r ∈ ℝ d r 如式(1)所示,其中→表示映射:
f r ( h , t ) : ℝ d e × ℝ d r × ℝ d e → ℝ ( 1 )
对于符合知识图谱的正样本来说,期望打分函数计算出的分数无限接近于0。其中,de 和dr 表示实体和关系向量的维度,在大多数模型中,d=de =dr 。在进行知识图谱推理时,对于任意给定的实体对<h,t>,遍历知识图谱中的关系r∈R,并计算<h,r,t>的分数,若低于某个阈值,则表示h和t之间存在关系r。在某些时候需要从<h,r>中推断t,此时可以遍历所有的实体t∈E,使用式(1)来计算分数,若分数低于某个阈值,则表明实体h在关系r的作用下,得到了实体t。本文使用式(1)所表示的模型框架来介绍各种现代的知识推理方法。
3 基于几何运算的方法
基于几何运算的模型是从word2vec延伸出来的,将知识图谱通过平移或旋转等几何运算嵌入低维的几何空间中(通常是欧几里得空间,也可以是双曲空间等)。其中平移表现为向量加法,旋转表现为哈达玛积(Hadamard product),嵌入则是一个数学中与流形相关的概念,表达一个数学结构的实例通过映射包含到另一个实例中。
将知识图谱嵌入几何空间时,解决知识图谱中不同特点的关系的推理问题,从而推进基于几何运算的方法的发展,这些特点包括一对一、一 对多、多对一、多对多[13 ] 、对称性(symmetry)、反对称性(anti-symmetry)、反向性(inversion)和组合性(composition)[14 ] 等。
3.1 欧几里得空间嵌入
知识图谱推理的现代方法的雏形是word2vec,并从TransE模型开始逐渐发展起来。图1 表示了word2vec模型学习出来的词向量满足w 广 东 省 − w 广 州 市 = w 浙 江 省 − w 杭 州 市 ,其隐含的关系“省会”(图1 中虚线)没有被明确表示出来。TransE将word2vec中隐含的关系用向量明确地表示出来,并应用到知识图谱中。
基于几何运算的知 识图谱推理在TransE[11 ] 的基础上持续发展。TransE把实体间的关系用向量明确地表示出来,并用几何平移来解释实体间的关系,如图2 (a)所示。继TransE后大量平移或旋转的方法被提出来,这些方法和TransE一样使用欧氏距离来计算打分函数,使用基于能量的方法来定义损失函数,并用随机梯度下降来优化模型。
TransE将实体和关系嵌入同一个空间中,并定义打分函数为:
f r ( h , t ) = | | h + r − t | | 2 2 ( 2 )
其中,||·||2 表示 L2范数(L2 norm)。TransE模型对仅有一对一关系的知识图谱非常友好,能够学习出各种具有反对称性、反向性和组合性的关系。其结构简单、运算量小,是某些现实场景 的首选方法。
TransH[13 ] 拓展了TransE模型,为每个关系学习嵌入空间的一个超平面W r ( | | W r | | = 1 ) ,并将<h,r,t>三元组解释为实体在关系超平面上的平移变换。如图2 (b)所示,TransH先将实体向量h和t映射到关系超平面W r 上,得到 h ′ = h − W r T h W r 和t ′ = t − W r T t W r ,并将关系表示为超平面上的平移变换,即向量加法 h ′ + r = t ′ 。由此TransH的打分函数为:
f r ( h , t ) & = | | h ′ + r − t ′ | | 2 2 =
| | ( h − W r T h W r ) + r − ( t − W r T t W r ) | | 2 2 ( 3 )
TransH模型通过关系特定的超平面,实现了自反、一对多、多对一和多对多的嵌入表示。TransR模型[15 ] 将实体和关系分别嵌入不同的几何空间,使得相同的实体在不同的关系下能够表示不同的语义,进一步增强了知识图谱的推理能力。如图2 (c)所示,TransR通过映射矩阵M r ∈ ℝ d e × d r 将实体向量h 、t 映射到关系空间得到h r = h M r 和t r = t M r ,并在关系空间进行平移变换,即 h r + r = t r 。由此,将TransR的打分函数定义为:
f r ( h , t ) = | | h + r − t | | 2 2 = | | h W r + r − t W r | | 2 2 ( 4 )
TransD模型 [16 ] 用实体映射向量h p 、 t p ∈ ℝ d r 和关系映射向量 r p ∈ ℝ d r 来构造映射矩阵M r t = r p h p T + I d r × d e 和M r t = r p t p T + I d r × d e (I 表示单位矩阵),并代替TransR中的映射矩阵M r ,使得模型能够表达实体在不同关系中潜在的多个语义关系。由于向量乘法效率高于矩阵乘法,将TransD模型应用于大规模知识图谱中具有计算效率上的优势。类似地,TransD的打分函数为:
图1
图2
图2
基于欧几里得空间的平移运算的知识图谱推理模型
f r ( h , t ) = | | h r + r − t r | | 2 2 =
| | h M r h + r − t M r t | | 2 2 =
| | h ( r p B p T + I d r × d e ) + r − ( r p t p T + I d r × d e ) | | 2 2 ( 5 )
图2 (d)直观地表示了TransD的模型。从图2 和式(2)~式(5)可以看出, TransE、TransH、TransR和TransD 4个模型一脉相承,都是用欧几里得空间中的平移来解释实体间的关系,并用欧氏距离来表示 分数。进一步地,TransG模型[17 ] 对这一模式进行了泛化建模,并用贝叶斯参数无限混合模型(Bayesian non-parametric infini te mixture model)[18 ] 和中国餐馆过程(Chinese restaurant process,CRP)来解决关系的多语义表达问题。
f r ( h , t ) = ∑ i = 1 m r π r , i exp ( − | | u h + u r , j − u t | | 2 2 σ h 2 + σ t 2 ) ( 6 )
其中,u h ~ N ( 0 , 1 ) 和 u t ~ N ( 0 , 1 ) 是先验地从标准正太分布中抽样获得的平均向量, σh 和σt 是相应的方差;mr 是关系的语义成分数量,通过中国餐馆过程能够从训练语料中学习出关系的不同的语义成分;π r , i ~ CRP( β ) 是关系r的语义成分的混 合因子(mixing factor)[17 ] ,可以通过中国餐馆过程的吉布斯采样获得;u r , i 表示关系r的第i个语义成分的平移向量。u r , i = t − h ~ N ( u t − u h , ( σ h 2 + σ t 2 ) E ) 是由头实体向量 h ~ N ( u h , σ h 2 E ) 和尾实体向量t ~ N ( u t , σ t 2 E ) 运算得到的。
总体来说,TransG模型能够表示关系的多种语义。对其进行主成分(primary component)分析可知,TransE模型是TransG模型针对主成分的特例,而TransG则是TransE的泛化,图3 展示了两个模型。
旋转和平移 一样是几何空间的基本操作,RotatE[14 ] 使用旋转代替平移对关系进行建模,图4 展示了RotatE与TransE的区别。同时,为了表达旋转,实体和关系的嵌入向量从实数扩展到复数向量空间。旋转在复向量空间的运算表示为向量的哈达玛积,即每个元素分别相乘的运算,这个与平移操作的加法是类似的。对于<h,r,t>,RotatE将实体和关系嵌入复向量空间h 、 t 、 r ∈ ℂ d ,并定义打分函数为:
f r ( h , t ) = | | h ∘ r − t | | ( 7 )
其中,∘ 表示哈达玛积,模型将向量限制在单位圆中,并解释为逆时针的旋转,作用于复向量的相位部分。与平移的方法相比, RotatE能更加高效地实现对称和反对称、反向和组合这些关系类型的建模。例如, r = e 0 / i π = ± 1 可以表示关系 r是对称的,r 1 和 r 2 是共轭的,可以表示两个关系 r 1 和 r 2 是反向的,r 3 = r 1 ∘ r 2 可以表示 r3 是 r1 和 r2 的组合。RotatE对具有如上特点的知识图谱推理能够事半功倍。
3.2 双曲空间嵌入
双曲空间(hyperbolic space)是具有常数负曲率的齐次空间,而欧几里得空间则是零曲率的。双曲几何提供了高效的方法来学习层次数据的低维嵌入,特别地,仅仅用二维的 双曲空间就能够以任意低的失真度嵌入树形数据[19 ] 。也就是说,将类似知识图谱这样具有丰富层次结构的数据嵌入双曲空间中,比嵌入欧几里得空间更加高效。
双曲空间嵌入通常使用d维庞加莱球B c d = { x ∈ ℝ d : | | x | | 2 2 < 1 c } 来表示,其中d表示庞加莱球的维度,-c表示曲率。庞加莱球的原点所对应的切线空间 T 0 c 是从原点离开的有可能路径的方向的d维向量空间。切线空间T 0 c 到B c d 的映射通过指数映射(exponential map) exp 0 c ( v ) 实现,而从B c d 到 T 0 c 则通过对数映射(logarithmic map)log 0 c ( v ) 实现[20 ] ,这里的0表示原点:
exp 0 c ( v ) = tanh ( c v ) c | | v | | v
log 0 c ( v ) = ar tanh ( c | | v | | ) c | | v | | v ( 8 )
在双曲空间中,向量x 、y 的加法通过莫比乌斯加法⊕ c 实现,向量y 和矩阵M 的乘法通过莫比乌斯矩阵-向量乘法⊕ c 实现,分别定义如下:
x ⊕ c y = ( 1 + 2 c 〈 x , y 〉 + c | | y | | 2 ) x + ( 1 − c | | x | | 2 ) y 1 + 2 c 〈 x , y 〉 + c 2 | | x | | 2 | | y | | 2 ( 9 )
M ⊕ c y = exp 0 c ( M log 0 c ( y ) ) ( 10 )
其中,〈 x , y 〉 表示两个向量的内积,其结果是个标 量。类 似欧几里得空间的欧氏距离,双曲空间距离[21 -22 ] 定义如下:
d B c ( x , y ) = 2 c ar tanh ( c | | − x ⊕ c y | | ) ( 11 )
在双曲空间 中,三元组<h,r,t>对应的d维向量 h 、 t 、 r ∈ B c d ,其中c表示双曲空间的曲率。和欧几里得空间一样,模型通过打分函数f r ( h , t ) 来实现知识图谱推理。
MuRP[23 ] 模型采用曲率为-1的庞加莱球模型(c=1)对图谱的实体关系进行建模,使用式(11),类似TransE,MuRP的打分函数定义为:
f r ( h , t ) = − d B c ( h r , t r ) 2 + b h + b t
= − d B c ( R ⊕ c h , t ⊕ c r ) 2 + b h + b t ( 12 )
其中,R ∈ B c d × d 是关系对角矩阵,bh 、bt 是两个偏置。
双曲嵌入与欧几里得空间嵌入不同的是,模型会为每个实体额外学习一个偏置b,b表示实体在双曲空间中的影响范围,图5 是MuRP模型的几何直观解释。即头实体h和尾实体t经过同一关系r调整为双曲空间的两个球体,如果存在重叠,则表示<h,r,t>成立,反之则表示h和t不存在关系r。
图3
图3
TransG和TransE对关系r进行不同表达,在TransE中只能学习出一种向量表示r ,而TransG能够学习出有细微语义差别的4个关系向量r 1 、r 2 、r 3 和r 4
图4
图5
和MuRP使用平移来建模实体间的关系不同,ATTH[24 ] 模型使用吉文斯变换表示旋转和反射,从而捕捉不同语义的关系,并使用双曲注意力机制来融合几何运算,同时归纳出更为复杂的逻辑模式。此外,考虑到不同关系蕴含的语义信息不一样, ATTH采用可学习的变量为不同的关系自动学习出最佳的曲率cr 。类似 TransR、TransD 定义出双曲空间中的旋转运算h rot r = M rot r h 和反射运算h ref r = M ref r h ,这里的 M rot r = diag ( G + ( θ r , 1 ) , ⋯ , G + ( θ r , d 2 ) ) 和 M ref r = diag ( G − ( ϕ r , 1 ) , ⋯ , G − ( ϕ r , d 2 ) ) 是由关系特定的参数Θ r : = { θ r , i } , i ∈ { 1 , 2 , ⋯ , d 2 } 和 Φ r : = { ϕ r , i } , i ∈ { 1 , 2 , ⋯ , d 2 } 构造的块对角矩阵,其 中,G ± ( θ ) : = [ cos ( θ ) ∓ sin ( θ ) sin ( θ ) ± cos ( θ ) ] 是2×2的吉文斯变换矩阵。
AT T H模型中注意力机制是在庞加莱球的切线空间(一种欧几里得空间)中进行的。通过式(8)的对数映射将双曲空间嵌入向量h rot r 和h ref r 映射到切线空间 h ¨ rot r = log 0 c r ( h rot r ) 和 h ¨ ref r = log 0 c r ( h ref r ) ,并计算注意力得分α rot = softmax( a T h ¨ rot r ) 和α ref = softmax( a T h ¨ ref r ) (a 是注意力机制的环境参数),然后通过式(8)映射回双曲空间,得到头实体经过关系调整后的向量h ˜ = exp 0 c r ( α rot h ¨ rot r + α ref h ¨ ref r ) 。最后类似MuRP,ATTH的打分函数定义为:
f r ( h , t ) = − d B c ( h ˜ ⊕ c r , t ) 2 + b h + b t ( 13 )
4 基于深度学习的方法
近年来,深度学习被广泛地应用在计算机视觉、图像处理、语音识别和自然语言处理等人工智能领域。同样地,深度学习也被应用于知识图谱推理,本文介绍了主流的和应用非常广泛的若干方法。
首先介绍基于深度学习的知识图谱推理方法,然后将相应的深度神经网络转化成打分函数。深度神经网络更加复杂,且包含了大量的非线性运算,从而能够学到更多的特征,但也因此存在“黑盒”的不直观问题,影响了推理的解释性。
4.1 卷积神经网络模型
卷积神经网络将卷积应用于神经网络,通过局部感知、参数共享等特点,实现了深层的 特征学习,成为深度学习中非常重要的网络之一。ConvE[25 ] 将卷积神经网络应用于知识图谱推理,其网络结构如图6 (a)所示,打分函数定义为:
f r ( h , t ) =
ReLU(flatten(ReLU ( concat( r ¯ , h ¯ )* ω ) ) W ) t ( 14 )
其中, r ¯ 、 h ¯ 是由r 和h 重组成的二维矩阵,维数关系为d=dw × dh ,dw 、dh 是 r ¯ 、 h ¯ 维度的长和宽。把 r ¯ 、 h ¯ 拼接成二维矩阵,与滤波器 ω 进行卷积后,得到k个m×n 特征图,式(14)中*表示卷积。使用非线性激活函数ReLU将特征图拉平为kmn维的向量,然后与矩阵W ∈ ℝ k m n × d 相乘得到d维向量(图6 (a)中使用全连接网络实现),再次ReLU后与尾实体嵌入向量t 相乘求内积,得到分数值。
ConvE模型通常使用小的滤波器进行卷积,这样实体和关系间的交互仅在二维矩阵r ¯ 和 h ¯ 的拼接处,能够很好地被学习,而远离拼接处的特征则较少被学习。ConvR[26 ] 将关系转化为滤波器来对实体向量进行卷积运算,从而获得更好的实体-关系间交互的特征表达。通过比较图6 (a)和图6 (b),可以直观地理解ConvE和ConvR的异同,并理解各自的特点和优劣。类似地,ConvR的打分函数为:
f r ( h , t ) =
ReLU(concat(flatten ( ReLU(( h ¯ * ω ( l ) ))) W ) t ( 15 )
和ConvE一样,h ¯ 由h 重组得到,不同的是,关系向量r 被分割为k个d r k 维的向量r ( 1 ) , r ( 2 ) , ⋯ , r ( k ) ,每个r ( l ) 都被重组为h×w的滤波器ω ( l ) (h、w为滤波器的长和宽),其中dr =khw。每个滤波器ω ( l ) 与 h ¯ 进行卷积得到特征图K ( l ) ∈ ℝ ( d h − h + 1 ) × ( d w − w + 1 ) ,将所有特征图K ( l ) 拉平后拼接成向量,并与矩阵W ∈ ℝ k ( d h − h + 1 ) × ( d w − w + 1 ) 相乘得到de 维向量。再次ReLU后与t 相乘,得到分数。
图6
图6
深度卷积网络用于知识图谱推理的Co nvE和ConvR模型
4.2 胶囊网络模型
CapsE[27 ] 是将胶囊网络(capsule network,CapsNet)[28 ] 用于知识图谱推理的一种模型。其基本原理是将三元组的3个嵌入向量组装成3列的矩阵,用卷积网络来学习出相应的特征,并通过两层的胶囊网络为三元组打分。CapsE模型如图7 所示,由于滤波器同时作用于h 、r 、t ,因此可以捕捉到更多的特征。其打分函数为:
f r ( h , t ) = | | capsent ( ReLU ( [ h , r , t ] * Ω ) ) ( 16 )
其中,capsnet表示胶囊网络,Ω表示n个滤波器 ω ∈ ℝ 1 × 3 滤波器,ω 作用于输入矩阵,[ h , r , t ] ℝ d × 3 形成n个d ×1维的特征图。特征图被封装成第一个胶囊层的d个胶囊u i ∈ ℝ n × 1 ,通过路由过程路由到第二个胶囊层后生成连续的输出向量e ,输出向量的L1范数| | e | | 就是得分。
图7
路由过程 [28 ] 在第一个胶囊层的s = ∑ i c i W i u i (W i ∈ ℝ d × n 是权重矩阵,ci 是耦合系数)和第二胶囊层的非线性压扁e = s q u a s h ( s ) = | | s | | 2 1 + | | s | | 2 s | | s | | 中迭代m次(参考文献[27 ]研究了m的数值,并断定m=1时效果最佳)。
4.3 图神经网络模型
图神经网络是将深度学习技术应用于图结构数据的方法,是最近人工智能中非常热门的研究领域之一。图神经网络天然地适用于知识图谱推理。关系图卷积网络(relational gr aph convolutional network,R-GCN)[29 ] 是较早对关系进行建模实现知识图谱推理的图自编码器模型。R-GCN模型的每一层都使用了图8 和式(17)所示的传播模型来编码知识图谱:
e ( l + 1 ) = ReLU ( W self ( l ) e ( l ) + ∑ r ∈ R ∑ i ∈ E r 1 c r W r ( l ) e i ( l ) ) ( 17 )
其中,e ( l ) 和e ( l + 1 ) 分别表示知识图谱的实体e在R-GCN中的l层和l+1层的向量。Er 表示与实体e具有关系r的所有邻接实体的集合,区分入边和出边。R表示知识图谱中所有关系的集合。W self ( l ) 表示l层中实体自身的相关参数(自连接),其目的是给l+1层传播实体自身的信息。W r ( l ) 则是与关系r相关的参数。cr 是归一化参数,可以随模型学习,或者提前设定。R-GCN传播模型可被直观地理解为依据每一个关系对邻接节点的信息进行学习,进而表示实体。
图8
图8
R-GCN的传播模型,也是R-GCN的“层”
式(17)的参数W r ( l ) 会因知识图谱中关系的增加而急剧变大,导致模型巨大,并且非常容易过拟合。基分解(basis decomposition)和块对角分解(block diagonal decomposition)是解决这个问题的两种方法,在使用R-GCN时可以根据实际情况选择其中一种。基分解的出发点是在关系间共享参数,即将W r ( l ) 分解为关系无关的B个参数矩阵 V b ( l ) ∈ ℝ d ( l + 1 ) × d ( l ) 的线性组合,组合系数为关系相关的标量参数a r b ( l ) :
W r ( l ) = ∑ b = 1 B a r b ( l ) V b ( l ) ( 18 )
W r ( l ) = diag ( Q 1 r ( l ) , ⋯ , Q B r ( l ) ) ( 19 )
其中Q b r ( l ) ∈ ℝ d ( l + 1 ) B × d ( l ) B ,表示块对角分解的参数矩阵。
R-GCN模型堆叠了L层式(17)作为编码器,并使用DistMult[30 ] 作为解码器,从而其打分函数为:
f r ( h , t ) = rgcn L ( h ) T R r rgcn L ( t ) ( 20 )
其中,R r ∈ ℝ d × d 是关系特定的对角矩阵,和r一起用来表示关系;rgcnL 表示堆叠了L层式(17)的R-GCN模型,输出编码了h 的d维向量。
RGHAT[31 ] 是一种通过加入两层注意力来进一步改善关系图神经网络的效果的知识图谱推理方法。ATTH[24 ] 使用注意力机制自动归纳出知识图谱的逻辑结构,而RGHAT使用两层注意力分别归纳实体和同一关系下邻接实体的特征,其模型如图9 所示,其中关系层注意力表达了不同关系对实体的影响权重:
a h , r = W 1 concat ( h , r )
α h , r = softmax ( a h , r ) = exp ( σ ( p ⋅ a h , r ) ) ∑ r ′ ∈ R h exp ( σ ( p ⋅ a h , r ′ ) ) ( 21 )
实体层注意力则表达了同一关系的邻接实体的影响权重:
b h , r , t = W 2 concat ( a h , r , t )
β r , t = softmax ( b h , r , t ) =
exp ( σ ( q ⋅ b h , r , t ) ) ∑ t ′ ∈ E h , r exp ( σ ( q ⋅ b h , r , t ) ) ( 22 )
其中,W 1 、 W 2 ∈ ℝ d × 2 d 和 p 、 q ∈ ℝ d 是注意力参数,Rh 表示实体h的所有邻接关系的集合,Eh,r 是实体h在关系r下的尾实体集合, σ表示激活函数LeakyReLU。αh,r 是关系层注意力分数,βr,t 是实体层注意力分数,三元组<h,r,t>的注意力分数定义为二者的乘积u h,r,t =αh,r × βr,t 。RGHAT模型使用信息聚合器来聚合所有邻接节点的信息,并使用与R-GCN模型一样的自连接[29 ] 来表达当前实体自身的信息, 即:
h ′ = σ ( W 3 ( h + ∑ r ∈ R h ∑ t ∈ E h , r u h , r , t b h , r , t ) ) ( 23 )
其中,W 3 ∈ ℝ d × d 是训练参数。RGHAT使用式(14)的ConvE[25 ] 作为解码器,打分函数为:
f r ( h , t ) =
ReLU(flatten(ReLU ( concat( h ′ , r )* ω ) ) W dec ) t ( 24 )
5 知识推理应用
5.1 知识图谱补全
知识图谱普遍存在知识缺失的事实,也就是知识图谱的不完备性。如图10 所示,实线部分是知识图谱存在的关系,比如<张三,出生于,厦门市>和<张三,任职于,甲公司>等,而虚线部分是知识图谱中缺失的,比如<张三,工作于,上海市>和<张三,出生于,中国>等。知识图谱补全(knowledge graph completion)的目标是发现这些缺失的知识,并将其补充到知识图谱中,使得知识图谱趋向完备。
知识图谱补全是知识推理应用最多的领域,大量的知识 图谱推理算法被提出 来的初衷就是应用于 知识图谱补全,如MLN[7 ] 、TransR[15 ] 、CapsE[27 ] 、RGHAT[31 ] 等。前面提到的所有方法都可以通过在向量空间的推理来断定任意实体间是否存在某种关系,进而实现知识图谱的补全。
图9
图10
5.2 知识问答
问答(question answering,QA)系统是自然语言处理领域一个重要的发展方向,其目标是通过自然语言的方式来获取知识。在很多真实应用场景下,基于知识图谱的问答系统能够带来极大的知识获取的便利性 。但除了简单地从知识图谱中检索实体,更多的问题要求问答系统具有知识推理的能力[32 -33 ] 。本文介绍的知识推理方法都可 以用于基于知识图谱的知识问答系统中,用来回答复杂的问题,提升结果的准确性、完备性等[34 -35 ] 。
除了将知识图谱嵌入通用的知识问答系统,也可将知识推理等技术直 接应用于问答系统来解决特定的问题。比如用R-GCN来建模多轮对话问答系统的对话结构和背景知识[36 ] 。基于知识图谱 嵌入的问答系统正在兴起,比如将TransE向量空间与搜索技术结合,实现了基于知识图谱嵌入的问答系统[37 ] 。
随着现代知识图谱推理方法的研究逐渐深入,知识问答的效果也持续改善,同时将上述这些知识推理技术和问答技术结合用于解决特定问题的方法也在兴起。
5.3 推荐系统
推荐系统是随着互联网的发展、信息的极大丰富而兴起的技术,旨在理解用户并主动给用户推荐信息。随着知识图谱技术的发展,将知识图谱和推荐系统全方位地结合,从而更深入地理解用户,更好地匹配用户需求,同时提供更强的解释性。
在理解用户方面,知识图谱能够对用户之间的网状关系进行建模,通过购买同一件商品、看过同一个视频、对同一条信息点赞等用户行为构建行为图谱,并利用知识图谱推理技术推断用户间的关系,挖掘潜在的深度需求,配合协同过滤等推荐技术来改善推荐的效果。参考文献[38]利用知识图谱来丰富用户信息,并使用R-GCN对关系和结构建模推理,从而更好地理解用户。推荐的内容(如商品、信息、知识、人物等)同样可以通过各种关系来构 建知识图谱,使用推理技术来 挖掘潜在特征,推断潜在关系,增强对推荐内容的理解,改善推荐效果。参考文献[39 ]尝试使用TransR[15 ] 来建模结构化的推荐内容,以提升推荐效果。在此之上, 推荐本身可以看成用户- 推荐内容之间的复杂的网状关系,由此可应用知识图谱推理技术来直接实现推荐。KGAT[40 ] 结合TransR[15 ] 和深度学习实现了知识图谱注意力网络的推荐方法。
随着知识图谱和知识推理技术的进一步发展和成熟,各种现代的知识推理方法在推荐领域的应用也会越来越多,并逐渐成为主流。
5.4 个性化搜索
个性化搜索是充分利用搜索和点击等历史行为记录和用户本身的信息来实现个性化的搜索,返回更加匹配用户的结果。比如同样搜索“苹果”,果农和电子产品爱好者对搜索结果的期望是不同的;而搜索“天气预报”,在上海的人和在北京的人对搜索结果的期望也是不一样的。个性化搜索是致力于解决这类问题的技术。推荐系统中的使用知识图谱及推 理技术对用户建模的方法可以用于个性化搜索。
直接使用知识推理技术来实现个性化搜索的方法也在被 尝试,参考文献[41 ]将用户、文档以及 用户与文档产生的搜索 、点击等交互关系构建成知识图谱,并使用TransE[11 ] 推理方法实现个性化搜索。参考文献[42 ]则将ConvE[25 ] 的改进版本ConvKB应用于个性化搜索。
6 行业应用
随着知识 图谱的流行,知识推理在各行各业被广泛应用。在金融、投资、保险、地产、电力电网、能源、制造、生物医药、医疗、智慧城市[43 ] 等行业都能见到知识图谱推理技术的应用,本文主要介绍金融、生物医药和智能制造行业的应用情况。
6.1 金融行业
知识图谱被广泛应用在金融行业,在风险监测与控制、事件、舆情、对话机器人、金融市场事件监测等方面都有知识图谱的身影,大量的知识推理方法也被应用在具体的场景下。在风险监测与控制方面,在基于企业工商信息、诉讼信息、招聘信息以及风险事件等数据构建的大规模知识图谱中,可以利用知识推理技术挖掘隐藏的关联关系、风险传导链、担保圈链等。在金融舆情方面,可构建事件及其影响关系的图谱,使用知识推理技术来完善图谱中的关联关系,识别事件的真伪和影响后果等。在对话机器人方面,针对规章制度、财务制度、财务知识、业务知识等建立知识图谱,并使用基于知识图谱的问答技术实现对话 机器人,随时随地满足客户获取知识的需要。在投资研究方面,基于事件构建图谱,并使用知识图谱推理技术来研究对金融市场的影响[44 ] 。针对小微企业信贷业务的特点,构建全方位企业画像与 企业关联图谱的贷前反欺诈模型,定量评估小微企业客户的欺诈风险,能够有效地帮助银行机构更准确地对企业申贷欺诈行为进行评估[45 ] 。
6.2 生物医药行业
生物医药行业的多个子领域深入应用了知识图谱和推理技术,包括药物图谱、疾病图谱、蛋白质图谱、基因图谱、药物份子信息图谱等,涉及生物医药行业的方方面面[46 -47 ] 。这些图谱同样存在不完备的情况,可使用知识图谱推理技术来完善这些图谱。
生物医药的研究对象通常是复杂的微观结构以及这些微观结构间的关系,深度学习中很 多与图结构相关的算法 是生物医药领域的研究人员提出的[48 ] 。同样地,知识图谱推理技术也被广泛地直接应用于生物医药的研究,参考文献[49 ]利用R-GCN[29 ] 模型作为编码器,并使用 张量分解作为解码器,使用知 识图谱推理的方法来推断药物-蛋白质、蛋白质-蛋白质、药物-药物、药物-副作用等方面的相互作用。GrEDeL[50 ] 使用两个TransE[11 ] 结合LSTM的模型,从公开文献中挖掘潜在的治疗疾病药物,该模型把文献中构建的生物医药知识图谱拆分成语义图谱(semantic graph)和类型图谱(type graph),并用两个TransE分别对这两个图谱进行建模,然后使用LSTM模型来挖掘适用于疾病的药物。
6.3 智能制造行业
智能制造行业极大地依赖于工程师和工人的知识与经验,为了适应越来越复杂的产品设计、生产制造等过程,知识图谱也被用来积淀、传承、管理和应用智能制造中理化、电子电气、工艺、失效、故障等的知识和经验,避免知识的流失,辅助设计工程师、质量工程师和制造 工程师分析问题,帮助现场工人快速解决问题,以及激发创新创造等。知识图谱推理技术可以用来完善图谱数据,改善图谱质量,提升知识和 经验的完备性[51 ] 。
智能制造通常涉及多个跨领域的知识、规范、标准等,可以使用知识图谱技术来跟踪、跟进这些规范标准,并保持更新。参考文献[52 ]是致力于将工业4.0的标准进行图谱化的一个尝试。中国电子技术标准化研究院也在尝试将国内各种标准图谱化。辅以知识问答技术和推荐技术,能够更加方便地推进制造业应用最新的知识、经验、规范、标准等。
进一步地,设备传感器采集的大量信息能够有效地监测制造过程。知识图谱推理技术同样能 够用在这些数据所构建的 设备和制造过程的图谱中,优化生产制造过程,优化保养周期、预测可能发生的故障,保证生产过程处于良好的状态[53 ] 。参考文献[54 ]利用TransE[11 ] 融合来自传感器的操作数据源和制造图谱的实体,为潜在的未知实体提供自动化融 合的建议,从而保持数字孪生的同步,对于依赖于数据的实时对齐的监视和管理应用具有巨大价值。在更多专业的领域,知识图谱推理技术也在发挥其价值,参考文献[55]探索了电子自动化设计(electronic design automation,EDA)中应用R-GCN的场景。在更广泛的智能制造场景中(如供应链管理、客户和供应商管理、BOM的自动创建、转换与管理、工厂员工管理等方面),知识图谱推理技术也被用来提升智能化管理水平。
7 挑战与未来展望
近些年来,现代的知识图谱推理技术正在快速发展,许多模型在各自的领域有非常好的效果,并且被广泛应用,但远未达到完美的状态,挑战和机遇并存。
● 知识图谱嵌入通常是嵌入欧几里得空间,近些年,MuRP、ATTH等模型探索了嵌入双曲空间的情形,获得了非常好的效果。但总体上,把知识图谱嵌入双曲空间的研究还是少数。而已有的模型表明双曲空间等非欧几里得空间能够更好地表达知识图谱。在非欧几里得空间进行知识图谱表示和推理是非常值得继续探索的。
● 图神经网络天然匹配知识图谱,本文介绍的R-GCN和R GHAT等模型还是早期的尝试,远未完美。设计出更加精巧的图网络结构来实现知识图谱推理会是热门且机会巨大的方向。
● 变换器(transformer)[1 ,56 ] 网络因其在自然语言处理领域强大的表达能力和高效的并行训练能力而大放异彩,并迅速地迁移到计算机视觉、图像处理和语音识别等领域,效果同样出众。相信变换器网络在知识图谱和知识图谱推理方面同样能表现出众。
● 基于预训练模型的迁移学习在自然语言处理、图像处理和计算机视觉等领域应用广泛,但在知识图谱推理方面还比较少见。探索知识图谱和知识图谱推理方面的预训练模型是值得尝试的。
● 现代的知识图谱推理技术在数据集以及相应的竞赛、评测等方面同样存在巨大的机会,特别是中文知识图谱的数据集。
8 结束语
本文首先系统地研究了知识图谱推理的现代的方法和应用,提出了一种统一的框架来详细介绍现代主流的知识图谱推理模型,方便读者基于自身研究领域来比较其中的异同和优劣。现代的知识图谱推理方法通过几何的或深度学习的方法将知识图谱嵌入低维空间,包括欧几里得空间和双曲空间等。紧接着详细介绍了嵌入欧几里得空间的Trans*和RotatE等方法,同时介绍了能够更好地表达知识图谱结构和逻辑的双曲空间嵌入,并介绍了MuRP和ATTH等方法。在深度学习发展如火如荼的今天,基于深度学习的知识图谱推理方法不断被提出,本文使用相同的框架介绍了主流的深度卷积网络、胶囊网络、图神经网络等方法。随着知识图谱推理技术的日趋成熟,其应用也日趋广泛。随后详细介绍了知识图谱推理技术在知识图谱补全、知识问答、推荐系统和个性化搜索等方面的应用,同时还针对金融、生物医药和智能制造3个行业介绍了知识图谱及其推理技术的应用。最后梳理了知识图谱推理方面的一些挑战和值得关注的研究方向,供读者参考。
The authors have declared that no competing interests exist.
作者已声明无竞争性利益关系。
参考文献
View Option
[1]
吴运兵 , 杨帆 , 赖国华 ,等 . 知识图谱学习和推理研究进展
[J]. 小型微型计算机系统 , 2016 ,37 (9 ): 2007 -2013 .
[本文引用: 2]
WU Y B , YANG F , LAI G H ,et al . Research progress of knowledge graph learning and reasoning
[J]. Journal of Chinese Computer Systems , 2016 ,37 (9 ): 2007 -2013 .
[本文引用: 2]
[2]
刘知远 , 孙茂松 , 林衍凯 ,等 . 知识表示学习研究进展
[J]. 计算机研究与发展 , 2016 ,53 (2 ): 247 -261 .
[本文引用: 1]
LIU Z Y , SUN M S , LIN Y K ,et al . Knowledge representation learning:a review
[J]. Journal of Comp uter Research and Development , 2016 ,53 (2 ): 247 -261 .
[本文引用: 1]
[3]
MITCHELL T , COHEN W , HRUSCHKA E ,et al . Never-ending learning
[C]// Proceedings of the 29th AAAI Conference on Artificial Intelligence . Palo Alto:AAAI Press , 2015 : 2302 -2310 .
[本文引用: 1]
[4]
SCHOENMACKERS S , DAVIS J , ETZIONI O ,et al . Learning first-order horn clauses from web text
[C]// Proceedings of the 2010 Conference on Empirical Methods in Natura l Language Processing .[S.l.]: Association for Computational Linguistics , 2010 : 1088 -1098 .
[本文引用: 1]
[5]
KOK S , DOMINGOS P . Learning the structure of Markov logic networks
[C]// Proceedings of the 22nd International Conference on Machine Learning (ICML 2005) . New York :ACM Press , 2005 : 441 -448 .
[本文引用: 1]
[6]
RICHARDSON M , DOMINGOS P . Markov logic networks
[J]. Machine Learning , 2006 ,62 (1-2 ): 107 -136 .
[本文引用: 1]
[7]
ONDŘEJ K , JESSE D . Markov logic networks for knowledge base compl etion:a theoretical analysis under the MCAR assumption
[C]// Proceedings of the 35th Uncertainty in Artificial Intelligence Conference .[S.l.:s.n.], 2020 : 1138 -1148 .
[本文引用: 2]
[8]
CHEN X , CHEN H , ZHANG N ,et al . OWL reasoning over big biomedical data
[C]// Proceedings of the 2013 IEEE International Conference on Big Data . Piscataway:IEEE Pr ess , 2013 : 29 -36 .
[本文引用: 1]
[9]
LAO N , COHEN W . Relational retrieval using a combination of path-constrained random walks
[J]. Machine Learning , 2010 ,81 (1 ): 53 -67 .
[本文引用: 1]
[10]
XIONG W H , HOANG T , WANG W Y . DeepPath:a reinforcement learning method for knowledge graph reasoning
[C]// Proceedings of the 2017 Conference on Empirical Method s in Natural Language Processing .[S.l.:s.n.], 2017 .
[本文引用: 1]
[11]
BORDES A , USUNIER N , GARCÍADURÁN A ,et al . Translating embeddings for modeling multi-relational data
[C]// Proceedings of the 26th International Conference on Ne ural Information Processing Systems.Red Hook:Curran Associates Inc . , 2013 : 2787 -2795 .
[本文引用: 5]
[12]
MIKOLOV T , CORRADO G , CHEN K ,et al . Efficient estimation of word representations in vector space
[C]// Proceedings of the International Conference on Learning Re presentations (ICLR 2013) .[S.l.:s.n.], 2013 .
[本文引用: 1]
[13]
WANG Z , ZHANG J W , FENG J L ,et al . Knowledge graph embedding by translating on hyperplanes
[J]. Proceedings of the 28th AAAI Conference on Artificial Intelligenc e.Palo Alto:AAAI Press , 2014 : 1112 -1119 .
[本文引用: 2]
[14]
SUN Z , DENG Z H , NIE J Y ,et al . RotatE:knowledge graph embedding by relational rotation in complex space
[C]// Proceedings of the 7th International Conference o n Learning Representations .[S.l:s.n.], 2019 .
[本文引用: 2]
[15]
LIN Y K , LIU Z Y , SUN M S ,et al . Learning entity and relation embeddings for knowledge graph completion
[C]// Proceedings of the 29th AAAI Conference on Artifici al Intelligence . Palo Alto:AAAI Press , 2015 : 2181 -2187 .
[本文引用: 4]
[16]
JI G , HE S , XU L ,et al . Knowledge graph embedding via dynamic mapping matrix
[C]// Proceedings of the 53rd Annual Meeting of the Association for Computational Li nguistics and the 7th International Joint Conference on Natural Language Processing .[S.l.]: Association for Computational Linguistics , 2015 : 687 -696 .
[本文引用: 1]
[17]
XIAO H , HUANG M L , ZHU X Y . TransG:a generative model for knowledge graph embedding
[C]// Proceedings of the 54th Annual Meeting of the Association for Computati onal Linguistics .[S.l:s.n.], 2016 : 2316 -2325 .
[本文引用: 2]
[18]
GRIFFITHS T L , GHAHRAMANI Z B . The Indian buffet process:an introduction and review
[J]. Journal of Machine Learning Research , 2011 ,12 (2 ): 1185 -1224 .
[本文引用: 1]
[19]
SARKA R R , . Low distortion delaunay embedding of trees in hyperbolic plane
[C]// Proceedings of the 19th International Symposium on Graph Drawing .[S.l:s.n.], 2011 : 355 -366 .
[本文引用: 1]
[20]
OCTAVIAN G , GARY B , THOMAS H . Hyperbolic neural networks
[C]// Advances in Neural Information Processing Systems .[S.l:s.n.], 2018 .
[本文引用: 1]
[21]
CHAMI I , YING R,RÉ C , et al . Hyperbolic graph convolutional neural networks
[C]// Advances in Neural Information Processing Systems .[S.l:s.n.], 2019 : 4869 -4880 .
[本文引用: 1]
[22]
LIU Q , NICKEL M , KIELA D . Hyperbolic graph neural networks
[C]// Advances in Neural Information Processing Systems .[S.l:s.n.], 2019 .
[本文引用: 1]
[23]
BALAEVI I , ALLEN C , HOS PEDALES T . Multi-relational Poincaré graph embeddings
[C]// Advances in Neural Information Processing Systems .[S.l:s.n.], 2019 .
[本文引用: 1]
[24]
CHAMI I , WOLF A , JUAN D C ,et al . Low-dimensional hyperbolic knowledge graph embeddings
[C]// Proceedings of the 58th Annual Meeting of the Association for Comput ational Linguistics .[S.l:s.n.], 2020 : 6901 -6914 .
[本文引用: 2]
[25]
DETTMERS T , MINERVINI P , STENETORP P ,et al . Convolutional 2D knowledge graph embeddings
[C]// Proceedings of the 32nd AAAI Conference on Artificial Intelligence . Palo Alto:AAAI Press , 2018 .
[本文引用: 3]
[26]
JIANG X T , WANG Q , WANG B . Adaptive convolution for multi-relational learning
[C]// Proceedings of the 2019 Conference of the North American Chapter of the Associ ation for Computational Linguistics:Human Language Technologies.[S.l . ]:Association for Computational Linguistics , 2019 : 978 -987 .
[本文引用: 1]
[27]
NGUYEN Q , VU T , NGUYEN D ,et al . A capsule network-based embedding model for knowledge graph completion and search personalization
[C]// Proceedings of the 2019 C onference of the North American Chapter of the Association for Computational Linguistics:Human Language Technologies.[S.l . ]:Association for Computational Linguistics , 2019 : 2180 -2189 .
[本文引用: 3]
[28]
SABOUR S , FROSST N , HINTON G E . Dynamic routing between capsules
[C]// Advances in Neural Information Processing Systems .[S.l:s.n.], 2017 .
[本文引用: 2]
[29]
SCHLICHTKRULL M , KIPF T , BLOEM P ,et al . Modeling relational data with graph convolutional networks
[C]// Proceedings of the 2018 European Semantic Web Conference . Heidelberg:Springer , 2018 : 593 -607 .
[本文引用: 3]
[30]
YANG B , YIH S , HE X ,et al . Embedding entities and relations for learning and inference in knowledge bases
[C]// Proceedings of the 3rd International Conference o n Learning Representations (ICLR 2015) .[S.l.:s.n.], 2015 .
[本文引用: 1]
[31]
ZHANG Z , ZHUANG F , ZHU H ,et al . Relational graph neural network with hierarchical attention for knowledge graph completion
[C]// Proceedings of the 34th AAAI Con ference on Artificial Intelligence . Palo Alto:AAAI Press , 2020 : 9612 -9619 .
[本文引用: 2]
[32]
王文广 , 徐永林 , 贺梦洁 ,等 . 基于知识图谱的通用知识问答系统:体系与方法
[J]. 新一代信息技术 , 2020 ,3 (7 ): 38 -47 .
[本文引用: 1]
WANG W G , XU Y L , HE M J ,et al . Knowledge graph based universal question answering syst em:framework and methods
[J]. New Generation of Information Technology , 2020 ,3 (7 ): 38 -47 .
[本文引用: 1]
[33]
邹艳珍 , 王敏 , 谢冰 ,等 . 基于大数据的软件项目知识图谱构造及问答方法
[J]. 大数据 , 2021 ,7 (1 ): 22 -36 .
[本文引用: 1]
ZOU Y Z , WANG M , XIE B ,et al . Software knowledge graph construction and Q&A technology based o n big data
[J]. Big Data Research , 2021 ,7 (1 ): 22 -36 .
[本文引用: 1]
[34]
SAXENA A , TRIPATHI A , TALUKDAR P . Improving multi-hop question answering over knowledge graphs using knowledge base embeddings
[C]// Proceedings of the 58th Annua l Meeting of the Association for Computational Linguistics .[S.l:s.n.], 2020 : 4498 -4507 .
[本文引用: 1]
[35]
WANG X , ZHAO S , CHENG B ,et al . HGMAN:multi-hop and multi-answer question answering based on heterogeneous knowledge graph (student abstract)
[C]// Proceedings o f the 34th AAAI Conference on Artificial Intelligence . Palo Alto:AAAI Press , 2020 : 13953 -13954 .
[本文引用: 1]
[36]
LIU J , SUI D , LIU K ,et al . Graph-based knowledge integration for question answering over dialogue
[C]// Proceedings of the 28th International Conference on Compu tational Linguistics .[S.l:s.n.], 2020 : 2425 -2435 .
[本文引用: 1]
[37]
HUANG X , ZHANG J , LI D ,et al . Knowledge graph embedding based question answering
[C]// Proceedings of the 12th ACM International Conference on Web Search and Dat a .[S.l:s.n.], 2019 : 205 -113 .
[本文引用: 1]
[38]
CHEN Q , LIN J , ZHANG Y ,et al . Towards knowledge-based recommender dialog system
[C]// Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing .[S.l]: Association for Computational Linguistics , 2019 .
[39]
ZHANG F , YUAN J , LIAN D ,et al . Collaborative knowledge base embedding for recommender systems
[C]// Proceedings of the 22nd ACM SIGKDD International Conference o n Knowledge Discovery and Data Mining . New York:ACM Press , 2016 : 353 -362 .
[本文引用: 1]
[40]
WANG X , HE X , CAO Y ,et al . KGAT:knowledge graph attention network for recommendation
[C]// Proceedings of the 25th ACM SIGKDD International Conference on Knowle dge Discovery &Data Mining . New York:ACM Press , 2019 : 950 -958 .
[本文引用: 1]
[41]
VU T , NGUYEN D , JOHNSON M ,et al . Search personalization with embeddings
[C]// Proceedings of the 39th European Conference on Information Retrieval . Heidelberg:S pringer , 2017 .
[本文引用: 1]
[42]
NGUYEN D Q , NGUYEN T D , NGUYEN D Q ,et al . A convolutional neural network-based model for knowledge base completion and its application to search personalization
[J]. Semantic Web , 2018 ,10 (4 ): 1 -14 .
[本文引用: 1]
[43]
臧根林 , 王亚强 , 吴庆蓉 ,等 . 智慧城市知识图谱模型与本体构建方法
[J]. 大数据 , 2020 ,6 (2 ): 96 -106 .
[本文引用: 1]
ZANG G L , WANG Y Q , WU Q R ,et al . Model and construction method of the ontology of knowle dge graph of smart city
[J]. Big Data Research , 2020 ,6 (2 ): 96 -106 .
[本文引用: 1]
[44]
DING X , ZHANG Y , LIU T ,et al . Knowledge-driven event embedding for stock prediction
[C]// Proceedings of the 26th International Conference on Computational Lingu istics:Technical Papers .[S.l.:s.n.], 2016 : 2133 -2142 .
[本文引用: 1]
[45]
金磐石 , 万光明 , 沈丽忠 . 基于知识图谱的小微企业贷款申请反欺诈方案
[J]. 大数据 , 2019 ,5 (4 ): 100 -112 .
[本文引用: 1]
JIN P S , WAN G M , SHEN L Z . Knowledge graph-based fraud detection for small and micro enterpri se loans
[J]. Big Data Research , 2019 ,5 (4 ): 100 -112 .
[本文引用: 1]
[46]
ZHENG S , RAO J , SONG Y ,et al . PharmKG:a dedicated knowledge graph benchmark for bomedical data mining
[J]. Briefings in Bioinformatics , 2020 .
[本文引用: 1]
[47]
WISHART D , FE UNANG Y , GUO A ,et al . DrugBank 5.0:a major update to the DrugBank database for 2018
[J]. Nucleic Acids Research , 2018 ,46 (D1 ): 1074 -1082 .
[本文引用: 1]
[48]
VE LIKOVI P , CUCURULL G , CASANOVA A ,et al . Graph attention networks
[C]// Proceedings of the 6th International Conference on Learning Representations .[S.l.:s.n.], 2018 .
[本文引用: 1]
[49]
MARINKA Z , MONICA A , JURE L . Modeling polypharmacy side effects with graph convolutional networks
[J]. Bioinformatics , 2018 ,34 (13 ): 457 -466 .
[本文引用: 1]
[50]
SANG S , YANG Z , LIU X ,et al . GrEDeL:a knowledge graph embedding based method for drug discovery from biomedical literatures
[J]. IEEE Access , 2018 ,7 : 8404 -8415 .
[本文引用: 1]
[51]
HE L , JIANG P . Manufacturing knowledge graph:a connectivism to answer production problems query with knowledge reuse
[J]. IEEE Access , 2019 ,7 : 101231 -101244 .
[本文引用: 1]
[52]
BADER S , GRANGEL-GONZALEZ , NANJAPPA P ,et al . A knowledge graph for industry 4.0
[C]// Proceedings of the 2020 European Semantic Web Conference . Heidelberg:Sprin ger , 2020 : 465 -480 .
[本文引用: 1]
[53]
GAROFALO M , PELLEGRINO M , ALTABBA A ,et al . Leveraging knowledge graph embedding techniques for industry 4.0 use cases
[J]. arXiv preprint , 2018 ,arXiv:1808.00434.
[本文引用: 1]
[54]
RINGSQUANDL M , LAMPARTER S , LEPRATTI R ,et al . Knowledge fusion of manufacturing operations data using representation learning
[C]// Proceedings of the 2017 IFIP International Conference on Advances in Production Management Systems . Heidelberg:Springer , 2017 : 302 -310 .
[本文引用: 1]
[55]
MA Y , HE Z , LI W ,et al . Understanding graphs in EDA:from shallow to deep learning
[C]// Proceedings of the 2020 International Symposium on Physical Design .[S.l.:s.n.], 2020 : 119 -126 .
[56]
VASWANI A , SHAZEER N , PARMAR N ,et al . Attention is all you need
[C]// Proceedings of the 31st International Conference on Neural Information Processing Systems.Red Hook:Curran Associates Inc . , 2017 : 6000 -6010 .
[本文引用: 1]
知识图谱学习和推理研究进展
2
2016
... 推理是一种人类逻辑思维,让机器能够像人类一样拥有推理能力一直是人工智能发展的目标.符号推理和专家系统是早期的尝试,在知识图谱被提出和发展起来之后,基于知识图谱的推理技术[1 -2 ] 也随之发展,并成为人工智能中非常热门的领域之一,也被认为是人工智能迈向具备和人类一样的推理和决策能力的关键技术. ...
... ● 变换器(transformer)[1 ,56 ] 网络因其在自然语言处理领域强大的表达能力和高效的并行训练能力而大放异彩,并迅速地迁移到计算机视觉、图像处理和语音识别等领域,效果同样出众.相信变换器网络在知识图谱和知识图谱推理方面同样能表现出众. ...
知识图谱学习和推理研究进展
2
2016
... 推理是一种人类逻辑思维,让机器能够像人类一样拥有推理能力一直是人工智能发展的目标.符号推理和专家系统是早期的尝试,在知识图谱被提出和发展起来之后,基于知识图谱的推理技术[1 -2 ] 也随之发展,并成为人工智能中非常热门的领域之一,也被认为是人工智能迈向具备和人类一样的推理和决策能力的关键技术. ...
... ● 变换器(transformer)[1 ,56 ] 网络因其在自然语言处理领域强大的表达能力和高效的并行训练能力而大放异彩,并迅速地迁移到计算机视觉、图像处理和语音识别等领域,效果同样出众.相信变换器网络在知识图谱和知识图谱推理方面同样能表现出众. ...
知识表示学习研究进展
1
2016
... 推理是一种人类逻辑思维,让机器能够像人类一样拥有推理能力一直是人工智能发展的目标.符号推理和专家系统是早期的尝试,在知识图谱被提出和发展起来之后,基于知识图谱的推理技术[1 -2 ] 也随之发展,并成为人工智能中非常热门的领域之一,也被认为是人工智能迈向具备和人类一样的推理和决策能力的关键技术. ...
知识表示学习研究进展
1
2016
... 推理是一种人类逻辑思维,让机器能够像人类一样拥有推理能力一直是人工智能发展的目标.符号推理和专家系统是早期的尝试,在知识图谱被提出和发展起来之后,基于知识图谱的推理技术[1 -2 ] 也随之发展,并成为人工智能中非常热门的领域之一,也被认为是人工智能迈向具备和人类一样的推理和决策能力的关键技术. ...
Never-ending learning
1
2015
... 知识图谱推理技术是伴随着人工智能、自然语言处理、语义网等技术发展起来的.早期有基于规则的方法,著名知识图谱NE LL[3 ] 利用手写规则的推理方法来不断扩充规模.一阶逻辑(first order logic,FOL)是早期的一种符号推理系统,也被用于知识图谱推理[4 ] .针对手写规则烦琐的问题,可采用将规则与统计学习结合的马尔可夫逻辑网(Markov logic network,M LN )[5 ,6 ,7 ] ,MLN是经典的推理方法.知识图谱的层次结构和逻辑结构往往被表示为本体(ontology)或模式(schema),基于本体的推理方法是知识图谱推理的经典方法之一,也是现实应用中很有 意义的方法[8 ] .随机游走(random walk)是概率统计中经典的随机过程,将其应用于知识图谱推理中产生了著名的路径排序算法(path ranking algorith m, PRA)[9 ] 及其与深度强化学习结合的深度路径(deep path)方法[10 ] .近年来,随着以深度学习为基础的人工智能技术的蓬勃发展,将知识图谱嵌入低维空间的方法逐渐成为主 流,TransE[11 ] 是其中的先锋. ...
Learning first-order horn clauses from web text
1
2010
... 知识图谱推理技术是伴随着人工智能、自然语言处理、语义网等技术发展起来的.早期有基于规则的方法,著名知识图谱NE LL[3 ] 利用手写规则的推理方法来不断扩充规模.一阶逻辑(first order logic,FOL)是早期的一种符号推理系统,也被用于知识图谱推理[4 ] .针对手写规则烦琐的问题,可采用将规则与统计学习结合的马尔可夫逻辑网(Markov logic network,M LN )[5 ,6 ,7 ] ,MLN是经典的推理方法.知识图谱的层次结构和逻辑结构往往被表示为本体(ontology)或模式(schema),基于本体的推理方法是知识图谱推理的经典方法之一,也是现实应用中很有 意义的方法[8 ] .随机游走(random walk)是概率统计中经典的随机过程,将其应用于知识图谱推理中产生了著名的路径排序算法(path ranking algorith m, PRA)[9 ] 及其与深度强化学习结合的深度路径(deep path)方法[10 ] .近年来,随着以深度学习为基础的人工智能技术的蓬勃发展,将知识图谱嵌入低维空间的方法逐渐成为主 流,TransE[11 ] 是其中的先锋. ...
Learning the structure of Markov logic networks
1
2005
... 知识图谱推理技术是伴随着人工智能、自然语言处理、语义网等技术发展起来的.早期有基于规则的方法,著名知识图谱NE LL[3 ] 利用手写规则的推理方法来不断扩充规模.一阶逻辑(first order logic,FOL)是早期的一种符号推理系统,也被用于知识图谱推理[4 ] .针对手写规则烦琐的问题,可采用将规则与统计学习结合的马尔可夫逻辑网(Markov logic network,M LN )[5 ,6 ,7 ] ,MLN是经典的推理方法.知识图谱的层次结构和逻辑结构往往被表示为本体(ontology)或模式(schema),基于本体的推理方法是知识图谱推理的经典方法之一,也是现实应用中很有 意义的方法[8 ] .随机游走(random walk)是概率统计中经典的随机过程,将其应用于知识图谱推理中产生了著名的路径排序算法(path ranking algorith m, PRA)[9 ] 及其与深度强化学习结合的深度路径(deep path)方法[10 ] .近年来,随着以深度学习为基础的人工智能技术的蓬勃发展,将知识图谱嵌入低维空间的方法逐渐成为主 流,TransE[11 ] 是其中的先锋. ...
Markov logic networks
1
2006
... 知识图谱推理技术是伴随着人工智能、自然语言处理、语义网等技术发展起来的.早期有基于规则的方法,著名知识图谱NE LL[3 ] 利用手写规则的推理方法来不断扩充规模.一阶逻辑(first order logic,FOL)是早期的一种符号推理系统,也被用于知识图谱推理[4 ] .针对手写规则烦琐的问题,可采用将规则与统计学习结合的马尔可夫逻辑网(Markov logic network,M LN )[5 ,6 ,7 ] ,MLN是经典的推理方法.知识图谱的层次结构和逻辑结构往往被表示为本体(ontology)或模式(schema),基于本体的推理方法是知识图谱推理的经典方法之一,也是现实应用中很有 意义的方法[8 ] .随机游走(random walk)是概率统计中经典的随机过程,将其应用于知识图谱推理中产生了著名的路径排序算法(path ranking algorith m, PRA)[9 ] 及其与深度强化学习结合的深度路径(deep path)方法[10 ] .近年来,随着以深度学习为基础的人工智能技术的蓬勃发展,将知识图谱嵌入低维空间的方法逐渐成为主 流,TransE[11 ] 是其中的先锋. ...
Markov logic networks for knowledge base compl etion:a theoretical analysis under the MCAR assumption
2
2020
... 知识图谱推理技术是伴随着人工智能、自然语言处理、语义网等技术发展起来的.早期有基于规则的方法,著名知识图谱NE LL[3 ] 利用手写规则的推理方法来不断扩充规模.一阶逻辑(first order logic,FOL)是早期的一种符号推理系统,也被用于知识图谱推理[4 ] .针对手写规则烦琐的问题,可采用将规则与统计学习结合的马尔可夫逻辑网(Markov logic network,M LN )[5 ,6 ,7 ] ,MLN是经典的推理方法.知识图谱的层次结构和逻辑结构往往被表示为本体(ontology)或模式(schema),基于本体的推理方法是知识图谱推理的经典方法之一,也是现实应用中很有 意义的方法[8 ] .随机游走(random walk)是概率统计中经典的随机过程,将其应用于知识图谱推理中产生了著名的路径排序算法(path ranking algorith m, PRA)[9 ] 及其与深度强化学习结合的深度路径(deep path)方法[10 ] .近年来,随着以深度学习为基础的人工智能技术的蓬勃发展,将知识图谱嵌入低维空间的方法逐渐成为主 流,TransE[11 ] 是其中的先锋. ...
... 知识图谱补全是知识推理应用最多的领域,大量的知识 图谱推理算法被提出 来的初衷就是应用于 知识图谱补全,如MLN[7 ] 、TransR[15 ] 、CapsE[27 ] 、RGHAT[31 ] 等.前面提到的所有方法都可以通过在向量空间的推理来断定任意实体间是否存在某种关系,进而实现知识图谱的补全. ...
OWL reasoning over big biomedical data
1
2013
... 知识图谱推理技术是伴随着人工智能、自然语言处理、语义网等技术发展起来的.早期有基于规则的方法,著名知识图谱NE LL[3 ] 利用手写规则的推理方法来不断扩充规模.一阶逻辑(first order logic,FOL)是早期的一种符号推理系统,也被用于知识图谱推理[4 ] .针对手写规则烦琐的问题,可采用将规则与统计学习结合的马尔可夫逻辑网(Markov logic network,M LN )[5 ,6 ,7 ] ,MLN是经典的推理方法.知识图谱的层次结构和逻辑结构往往被表示为本体(ontology)或模式(schema),基于本体的推理方法是知识图谱推理的经典方法之一,也是现实应用中很有 意义的方法[8 ] .随机游走(random walk)是概率统计中经典的随机过程,将其应用于知识图谱推理中产生了著名的路径排序算法(path ranking algorith m, PRA)[9 ] 及其与深度强化学习结合的深度路径(deep path)方法[10 ] .近年来,随着以深度学习为基础的人工智能技术的蓬勃发展,将知识图谱嵌入低维空间的方法逐渐成为主 流,TransE[11 ] 是其中的先锋. ...
Relational retrieval using a combination of path-constrained random walks
1
2010
... 知识图谱推理技术是伴随着人工智能、自然语言处理、语义网等技术发展起来的.早期有基于规则的方法,著名知识图谱NE LL[3 ] 利用手写规则的推理方法来不断扩充规模.一阶逻辑(first order logic,FOL)是早期的一种符号推理系统,也被用于知识图谱推理[4 ] .针对手写规则烦琐的问题,可采用将规则与统计学习结合的马尔可夫逻辑网(Markov logic network,M LN )[5 ,6 ,7 ] ,MLN是经典的推理方法.知识图谱的层次结构和逻辑结构往往被表示为本体(ontology)或模式(schema),基于本体的推理方法是知识图谱推理的经典方法之一,也是现实应用中很有 意义的方法[8 ] .随机游走(random walk)是概率统计中经典的随机过程,将其应用于知识图谱推理中产生了著名的路径排序算法(path ranking algorith m, PRA)[9 ] 及其与深度强化学习结合的深度路径(deep path)方法[10 ] .近年来,随着以深度学习为基础的人工智能技术的蓬勃发展,将知识图谱嵌入低维空间的方法逐渐成为主 流,TransE[11 ] 是其中的先锋. ...
DeepPath:a reinforcement learning method for knowledge graph reasoning
1
2017
... 知识图谱推理技术是伴随着人工智能、自然语言处理、语义网等技术发展起来的.早期有基于规则的方法,著名知识图谱NE LL[3 ] 利用手写规则的推理方法来不断扩充规模.一阶逻辑(first order logic,FOL)是早期的一种符号推理系统,也被用于知识图谱推理[4 ] .针对手写规则烦琐的问题,可采用将规则与统计学习结合的马尔可夫逻辑网(Markov logic network,M LN )[5 ,6 ,7 ] ,MLN是经典的推理方法.知识图谱的层次结构和逻辑结构往往被表示为本体(ontology)或模式(schema),基于本体的推理方法是知识图谱推理的经典方法之一,也是现实应用中很有 意义的方法[8 ] .随机游走(random walk)是概率统计中经典的随机过程,将其应用于知识图谱推理中产生了著名的路径排序算法(path ranking algorith m, PRA)[9 ] 及其与深度强化学习结合的深度路径(deep path)方法[10 ] .近年来,随着以深度学习为基础的人工智能技术的蓬勃发展,将知识图谱嵌入低维空间的方法逐渐成为主 流,TransE[11 ] 是其中的先锋. ...
Translating embeddings for modeling multi-relational data
5
2013
... 知识图谱推理技术是伴随着人工智能、自然语言处理、语义网等技术发展起来的.早期有基于规则的方法,著名知识图谱NE LL[3 ] 利用手写规则的推理方法来不断扩充规模.一阶逻辑(first order logic,FOL)是早期的一种符号推理系统,也被用于知识图谱推理[4 ] .针对手写规则烦琐的问题,可采用将规则与统计学习结合的马尔可夫逻辑网(Markov logic network,M LN )[5 ,6 ,7 ] ,MLN是经典的推理方法.知识图谱的层次结构和逻辑结构往往被表示为本体(ontology)或模式(schema),基于本体的推理方法是知识图谱推理的经典方法之一,也是现实应用中很有 意义的方法[8 ] .随机游走(random walk)是概率统计中经典的随机过程,将其应用于知识图谱推理中产生了著名的路径排序算法(path ranking algorith m, PRA)[9 ] 及其与深度强化学习结合的深度路径(deep path)方法[10 ] .近年来,随着以深度学习为基础的人工智能技术的蓬勃发展,将知识图谱嵌入低维空间的方法逐渐成为主 流,TransE[11 ] 是其中的先锋. ...
... 基于几何运算的知 识图谱推理在TransE[11 ] 的基础上持续发展.TransE把实体间的关系用向量明确地表示出来,并用几何平移来解释实体间的关系,如图2 (a)所示.继TransE后大量平移或旋转的方法被提出来,这些方法和TransE一样使用欧氏距离来计算打分函数,使用基于能量的方法来定义损失函数,并用随机梯度下降来优化模型. ...
... 直接使用知识推理技术来实现个性化搜索的方法也在被 尝试,参考文献[41 ]将用户、文档以及 用户与文档产生的搜索 、点击等交互关系构建成知识图谱,并使用TransE[11 ] 推理方法实现个性化搜索.参考文献[42 ]则将ConvE[25 ] 的改进版本ConvKB应用于个性化搜索. ...
... 生物医药的研究对象通常是复杂的微观结构以及这些微观结构间的关系,深度学习中很 多与图结构相关的算法 是生物医药领域的研究人员提出的[48 ] .同样地,知识图谱推理技术也被广泛地直接应用于生物医药的研究,参考文献[49 ]利用R-GCN[29 ] 模型作为编码器,并使用 张量分解作为解码器,使用知 识图谱推理的方法来推断药物-蛋白质、蛋白质-蛋白质、药物-药物、药物-副作用等方面的相互作用.GrEDeL[50 ] 使用两个TransE[11 ] 结合LSTM的模型,从公开文献中挖掘潜在的治疗疾病药物,该模型把文献中构建的生物医药知识图谱拆分成语义图谱(semantic graph)和类型图谱(type graph),并用两个TransE分别对这两个图谱进行建模,然后使用LSTM模型来挖掘适用于疾病的药物. ...
... 进一步地,设备传感器采集的大量信息能够有效地监测制造过程.知识图谱推理技术同样能 够用在这些数据所构建的 设备和制造过程的图谱中,优化生产制造过程,优化保养周期、预测可能发生的故障,保证生产过程处于良好的状态[53 ] .参考文献[54 ]利用TransE[11 ] 融合来自传感器的操作数据源和制造图谱的实体,为潜在的未知实体提供自动化融 合的建议,从而保持数字孪生的同步,对于依赖于数据的实时对齐的监视和管理应用具有巨大价值.在更多专业的领域,知识图谱推理技术也在发挥其价值,参考文献[55]探索了电子自动化设计(electronic design automation,EDA)中应用R-GCN的场景.在更广泛的智能制造场景中(如供应链管理、客户和供应商管理、BOM的自动创建、转换与管理、工厂员工管理等方面),知识图谱推理技术也被用来提升智能化管理水平. ...
Efficient estimation of word representations in vector space
1
2013
... 本文关注的知识图谱推理方法是从TransE开始的,它源自自然语言处理领域的word2vec[12 ] ,是当前效果最好的、主流的、契合深度学习潮流的方法,也被称为现代的方法.这类方法可学习出知识图谱的稠密向量表示,是知识图谱领域的表示学习.对于学习出的稠密向量,既可以直接进行推理应用,也便于使用各种深度学习模型和算法来实现下游任务,如知识问答或辅助决策等. ...
Knowledge graph embedding by translating on hyperplanes
2
2014
... 将知识图谱嵌入几何空间时,解决知识图谱中不同特点的关系的推理问题,从而推进基于几何运算的方法的发展,这些特点包括一对一、一 对多、多对一、多对多[13 ] 、对称性(symmetry)、反对称性(anti-symmetry)、反向性(inversion)和组合性(composition)[14 ] 等. ...
... TransH[13 ] 拓展了TransE模型,为每个关系学习嵌入空间的一个超平面 W r ( | | W r | | = 1 ) ,并将<h,r,t>三元组解释为实体在关系超平面上的平移变换.如图2 (b)所示,TransH先将实体向量h和t映射到关系超平面 W r 上,得到 h ′ = h − W r T h W r 和 t ′ = t − W r T t W r ,并将关系表示为超平面上的平移变换,即向量加法 h ′ + r = t ′ . 由此TransH的打分函数为: ...
RotatE:knowledge graph embedding by relational rotation in complex space
2
2019
... 将知识图谱嵌入几何空间时,解决知识图谱中不同特点的关系的推理问题,从而推进基于几何运算的方法的发展,这些特点包括一对一、一 对多、多对一、多对多[13 ] 、对称性(symmetry)、反对称性(anti-symmetry)、反向性(inversion)和组合性(composition)[14 ] 等. ...
... 旋转和平移 一样是几何空间的基本操作,RotatE[14 ] 使用旋转代替平移对关系进行建模,图4 展示了RotatE与TransE的区别.同时,为了表达旋转,实体和关系的嵌入向量从实数扩展到复数向量空间.旋转在复向量空间的运算表示为向量的哈达玛积,即每个元素分别相乘的运算,这个与平移操作的加法是类似的.对于<h,r,t>,RotatE将实体和关系嵌入复向量空间 h 、 t 、 r ∈ ℂ d ,并定义打分函数为: ...
Learning entity and relation embeddings for knowledge graph completion
4
2015
... TransH模型通过关系特定的超平面,实现了自反、一对多、多对一和多对多的嵌入表示.TransR模型[15 ] 将实体和关系分别嵌入不同的几何空间,使得相同的实体在不同的关系下能够表示不同的语义,进一步增强了知识图谱的推理能力.如图2 (c)所示,TransR通过映射矩阵 M r ∈ ℝ d e × d r 将实体向量 h 、 t 映射到关系空间得到 h r = h M r 和 t r = t M r ,并在关系空间进行平移变换,即 h r + r = t r . 由此,将TransR的打分函数定义为: ...
... 知识图谱补全是知识推理应用最多的领域,大量的知识 图谱推理算法被提出 来的初衷就是应用于 知识图谱补全,如MLN[7 ] 、TransR[15 ] 、CapsE[27 ] 、RGHAT[31 ] 等.前面提到的所有方法都可以通过在向量空间的推理来断定任意实体间是否存在某种关系,进而实现知识图谱的补全. ...
... 在理解用户方面,知识图谱能够对用户之间的网状关系进行建模,通过购买同一件商品、看过同一个视频、对同一条信息点赞等用户行为构建行为图谱,并利用知识图谱推理技术推断用户间的关系,挖掘潜在的深度需求,配合协同过滤等推荐技术来改善推荐的效果.参考文献[38]利用知识图谱来丰富用户信息,并使用R-GCN对关系和结构建模推理,从而更好地理解用户.推荐的内容(如商品、信息、知识、人物等)同样可以通过各种关系来构 建知识图谱,使用推理技术来 挖掘潜在特征,推断潜在关系,增强对推荐内容的理解,改善推荐效果.参考文献[39 ]尝试使用TransR[15 ] 来建模结构化的推荐内容,以提升推荐效果.在此之上, 推荐本身可以看成用户- 推荐内容之间的复杂的网状关系,由此可应用知识图谱推理技术来直接实现推荐.KGAT[40 ] 结合TransR[15 ] 和深度学习实现了知识图谱注意力网络的推荐方法. ...
... [15 ]和深度学习实现了知识图谱注意力网络的推荐方法. ...
Knowledge graph embedding via dynamic mapping matrix
1
2015
... TransD模型 [16 ] 用实体映射向量 h p 、 t p ∈ ℝ d r 和关系映射向量 r p ∈ ℝ d r 来构造映射矩阵 M r t = r p h p T + I d r × d e 和 M r t = r p t p T + I d r × d e ( I 表示单位矩阵),并代替TransR中的映射矩阵 M r ,使得模型能够表达实体在不同关系中潜在的多个语义关系.由于向量乘法效率高于矩阵乘法,将TransD模型应用于大规模知识图谱中具有计算效率上的优势.类似地,TransD的打分函数为: ...
TransG:a generative model for knowledge graph embedding
2
2016
... 图2 (d)直观地表示了TransD的模型.从图2 和式(2)~式(5)可以看出, TransE、TransH、TransR和TransD 4个模型一脉相承,都是用欧几里得空间中的平移来解释实体间的关系,并用欧氏距离来表示 分数.进一步地,TransG模型[17 ] 对这一模式进行了泛化建模,并用贝叶斯参数无限混合模型(Bayesian non-parametric infini te mixture model)[18 ] 和中国餐馆过程(Chinese restaurant process,CRP)来解决关系的多语义表达问题. ...
... 其中, u h ~ N ( 0 , 1 ) 和 u t ~ N ( 0 , 1 ) 是先验地从标准正太分布中抽样获得的平均向量, σh 和σt 是相应的方差;mr 是关系的语义成分数量,通过中国餐馆过程能够从训练语料中学习出关系的不同的语义成分; π r , i ~ CRP( β ) 是关系r的语义成分的混 合因子(mixing factor)[17 ] ,可以通过中国餐馆过程的吉布斯采样获得; u r , i 表示关系r的第i个语义成分的平移向量. u r , i = t − h ~ N ( u t − u h , ( σ h 2 + σ t 2 ) E ) 是由头实体向量 h ~ N ( u h , σ h 2 E ) 和尾实体向量 t ~ N ( u t , σ t 2 E ) 运算得到的. ...
The Indian buffet process:an introduction and review
1
2011
... 图2 (d)直观地表示了TransD的模型.从图2 和式(2)~式(5)可以看出, TransE、TransH、TransR和TransD 4个模型一脉相承,都是用欧几里得空间中的平移来解释实体间的关系,并用欧氏距离来表示 分数.进一步地,TransG模型[17 ] 对这一模式进行了泛化建模,并用贝叶斯参数无限混合模型(Bayesian non-parametric infini te mixture model)[18 ] 和中国餐馆过程(Chinese restaurant process,CRP)来解决关系的多语义表达问题. ...
Low distortion delaunay embedding of trees in hyperbolic plane
1
2011
... 双曲空间(hyperbolic space)是具有常数负曲率的齐次空间,而欧几里得空间则是零曲率的.双曲几何提供了高效的方法来学习层次数据的低维嵌入,特别地,仅仅用二维的 双曲空间就能够以任意低的失真度嵌入树形数据[19 ] .也就是说,将类似知识图谱这样具有丰富层次结构的数据嵌入双曲空间中,比嵌入欧几里得空间更加高效. ...
Hyperbolic neural networks
1
2018
... 双曲空间嵌入通常使用d维庞加莱球 B c d = { x ∈ ℝ d : | | x | | 2 2 < 1 c } 来表示,其中d表示庞加莱球的维度,-c表示曲率.庞加莱球的原点所对应的切线空间 T 0 c 是从原点离开的有可能路径的方向的d维向量空间.切线空间 T 0 c 到 B c d 的映射通过指数映射(exponential map) exp 0 c ( v ) 实现,而从 B c d 到 T 0 c 则通过对数映射(logarithmic map) log 0 c ( v ) 实现[20 ] ,这里的0表示原点: ...
Hyperbolic graph convolutional neural networks
1
2019
... 其中, 〈 x , y 〉 表示两个向量的内积,其结果是个标 量.类 似欧几里得空间的欧氏距离,双曲空间距离[21 -22 ] 定义如下: ...
Hyperbolic graph neural networks
1
2019
... 其中, 〈 x , y 〉 表示两个向量的内积,其结果是个标 量.类 似欧几里得空间的欧氏距离,双曲空间距离[21 -22 ] 定义如下: ...
Multi-relational Poincaré graph embeddings
1
2019
... MuRP[23 ] 模型采用曲率为-1的庞加莱球模型(c=1)对图谱的实体关系进行建模,使用式(11),类似TransE,MuRP的打分函数定义为: ...
Low-dimensional hyperbolic knowledge graph embeddings
2
2020
... 和MuRP使用平移来建模实体间的关系不同,ATTH[24 ] 模型使用吉文斯变换表示旋转和反射,从而捕捉不同语义的关系,并使用双曲注意力机制来融合几何运算,同时归纳出更为复杂的逻辑模式.此外,考虑到不同关系蕴含的语义信息不一样, ATTH采用可学习的变量为不同的关系自动学习出最佳的曲率cr .类似 TransR、TransD 定义出双曲空间中的旋转运算 h rot r = M rot r h 和反射运算 h ref r = M ref r h ,这里的 M rot r = diag ( G + ( θ r , 1 ) , ⋯ , G + ( θ r , d 2 ) ) 和 M ref r = diag ( G − ( ϕ r , 1 ) , ⋯ , G − ( ϕ r , d 2 ) ) 是由关系特定的参数 Θ r : = { θ r , i } , i ∈ { 1 , 2 , ⋯ , d 2 } 和 Φ r : = { ϕ r , i } , i ∈ { 1 , 2 , ⋯ , d 2 } 构造的块对角矩阵,其 中, G ± ( θ ) : = [ cos ( θ ) ∓ sin ( θ ) sin ( θ ) ± cos ( θ ) ] 是2×2的吉文斯变换矩阵. ...
... RGHAT[31 ] 是一种通过加入两层注意力来进一步改善关系图神经网络的效果的知识图谱推理方法.ATTH[24 ] 使用注意力机制自动归纳出知识图谱的逻辑结构,而RGHAT使用两层注意力分别归纳实体和同一关系下邻接实体的特征,其模型如图9 所示,其中关系层注意力表达了不同关系对实体的影响权重: ...
Convolutional 2D knowledge graph embeddings
3
2018
... 卷积神经网络将卷积应用于神经网络,通过局部感知、参数共享等特点,实现了深层的 特征学习,成为深度学习中非常重要的网络之一.ConvE[25 ] 将卷积神经网络应用于知识图谱推理,其网络结构如图6 (a)所示,打分函数定义为: ...
... 其中, W 3 ∈ ℝ d × d 是训练参数.RGHAT使用式(14)的ConvE[25 ] 作为解码器,打分函数为: ...
... 直接使用知识推理技术来实现个性化搜索的方法也在被 尝试,参考文献[41 ]将用户、文档以及 用户与文档产生的搜索 、点击等交互关系构建成知识图谱,并使用TransE[11 ] 推理方法实现个性化搜索.参考文献[42 ]则将ConvE[25 ] 的改进版本ConvKB应用于个性化搜索. ...
Adaptive convolution for multi-relational learning
1
2019
... ConvE模型通常使用小的滤波器进行卷积,这样实体和关系间的交互仅在二维矩阵 r ¯ 和 h ¯ 的拼接处,能够很好地被学习,而远离拼接处的特征则较少被学习.ConvR[26 ] 将关系转化为滤波器来对实体向量进行卷积运算,从而获得更好的实体-关系间交互的特征表达.通过比较图6 (a)和图6 (b),可以直观地理解ConvE和ConvR的异同,并理解各自的特点和优劣.类似地,ConvR的打分函数为: ...
A capsule network-based embedding model for knowledge graph completion and search personalization
3
2019
... CapsE[27 ] 是将胶囊网络(capsule network,CapsNet)[28 ] 用于知识图谱推理的一种模型.其基本原理是将三元组的3个嵌入向量组装成3列的矩阵,用卷积网络来学习出相应的特征,并通过两层的胶囊网络为三元组打分.CapsE模型如图7 所示,由于滤波器同时作用于 h 、 r 、 t ,因此可以捕捉到更多的特征.其打分函数为: ...
... 路由过程 [28 ] 在第一个胶囊层的 s = ∑ i c i W i u i ( W i ∈ ℝ d × n 是权重矩阵,ci 是耦合系数)和第二胶囊层的非线性压扁 e = s q u a s h ( s ) = | | s | | 2 1 + | | s | | 2 s | | s | | 中迭代m次(参考文献[27 ]研究了m的数值,并断定m=1时效果最佳). ...
... 知识图谱补全是知识推理应用最多的领域,大量的知识 图谱推理算法被提出 来的初衷就是应用于 知识图谱补全,如MLN[7 ] 、TransR[15 ] 、CapsE[27 ] 、RGHAT[31 ] 等.前面提到的所有方法都可以通过在向量空间的推理来断定任意实体间是否存在某种关系,进而实现知识图谱的补全. ...
Dynamic routing between capsules
2
2017
... CapsE[27 ] 是将胶囊网络(capsule network,CapsNet)[28 ] 用于知识图谱推理的一种模型.其基本原理是将三元组的3个嵌入向量组装成3列的矩阵,用卷积网络来学习出相应的特征,并通过两层的胶囊网络为三元组打分.CapsE模型如图7 所示,由于滤波器同时作用于 h 、 r 、 t ,因此可以捕捉到更多的特征.其打分函数为: ...
... 路由过程 [28 ] 在第一个胶囊层的 s = ∑ i c i W i u i ( W i ∈ ℝ d × n 是权重矩阵,ci 是耦合系数)和第二胶囊层的非线性压扁 e = s q u a s h ( s ) = | | s | | 2 1 + | | s | | 2 s | | s | | 中迭代m次(参考文献[27 ]研究了m的数值,并断定m=1时效果最佳). ...
Modeling relational data with graph convolutional networks
3
2018
... 图神经网络是将深度学习技术应用于图结构数据的方法,是最近人工智能中非常热门的研究领域之一.图神经网络天然地适用于知识图谱推理.关系图卷积网络(relational gr aph convolutional network,R-GCN)[29 ] 是较早对关系进行建模实现知识图谱推理的图自编码器模型.R-GCN模型的每一层都使用了图8 和式(17)所示的传播模型来编码知识图谱: ...
... 其中, W 1 、 W 2 ∈ ℝ d × 2 d 和 p 、 q ∈ ℝ d 是注意力参数,Rh 表示实体h的所有邻接关系的集合,Eh,r 是实体h在关系r下的尾实体集合, σ表示激活函数LeakyReLU.αh,r 是关系层注意力分数,βr,t 是实体层注意力分数,三元组<h,r,t>的注意力分数定义为二者的乘积u h,r,t =αh,r × βr,t .RGHAT模型使用信息聚合器来聚合所有邻接节点的信息,并使用与R-GCN模型一样的自连接[29 ] 来表达当前实体自身的信息, 即: ...
... 生物医药的研究对象通常是复杂的微观结构以及这些微观结构间的关系,深度学习中很 多与图结构相关的算法 是生物医药领域的研究人员提出的[48 ] .同样地,知识图谱推理技术也被广泛地直接应用于生物医药的研究,参考文献[49 ]利用R-GCN[29 ] 模型作为编码器,并使用 张量分解作为解码器,使用知 识图谱推理的方法来推断药物-蛋白质、蛋白质-蛋白质、药物-药物、药物-副作用等方面的相互作用.GrEDeL[50 ] 使用两个TransE[11 ] 结合LSTM的模型,从公开文献中挖掘潜在的治疗疾病药物,该模型把文献中构建的生物医药知识图谱拆分成语义图谱(semantic graph)和类型图谱(type graph),并用两个TransE分别对这两个图谱进行建模,然后使用LSTM模型来挖掘适用于疾病的药物. ...
Embedding entities and relations for learning and inference in knowledge bases
1
2015
... R-GCN模型堆叠了L层式(17)作为编码器,并使用DistMult[30 ] 作为解码器,从而其打分函数为: ...
Relational graph neural network with hierarchical attention for knowledge graph completion
2
2020
... RGHAT[31 ] 是一种通过加入两层注意力来进一步改善关系图神经网络的效果的知识图谱推理方法.ATTH[24 ] 使用注意力机制自动归纳出知识图谱的逻辑结构,而RGHAT使用两层注意力分别归纳实体和同一关系下邻接实体的特征,其模型如图9 所示,其中关系层注意力表达了不同关系对实体的影响权重: ...
... 知识图谱补全是知识推理应用最多的领域,大量的知识 图谱推理算法被提出 来的初衷就是应用于 知识图谱补全,如MLN[7 ] 、TransR[15 ] 、CapsE[27 ] 、RGHAT[31 ] 等.前面提到的所有方法都可以通过在向量空间的推理来断定任意实体间是否存在某种关系,进而实现知识图谱的补全. ...
基于知识图谱的通用知识问答系统:体系与方法
1
2020
... 问答(question answering,QA)系统是自然语言处理领域一个重要的发展方向,其目标是通过自然语言的方式来获取知识.在很多真实应用场景下,基于知识图谱的问答系统能够带来极大的知识获取的便利性 .但除了简单地从知识图谱中检索实体,更多的问题要求问答系统具有知识推理的能力[32 -33 ] .本文介绍的知识推理方法都可 以用于基于知识图谱的知识问答系统中,用来回答复杂的问题,提升结果的准确性、完备性等[34 -35 ] . ...
基于知识图谱的通用知识问答系统:体系与方法
1
2020
... 问答(question answering,QA)系统是自然语言处理领域一个重要的发展方向,其目标是通过自然语言的方式来获取知识.在很多真实应用场景下,基于知识图谱的问答系统能够带来极大的知识获取的便利性 .但除了简单地从知识图谱中检索实体,更多的问题要求问答系统具有知识推理的能力[32 -33 ] .本文介绍的知识推理方法都可 以用于基于知识图谱的知识问答系统中,用来回答复杂的问题,提升结果的准确性、完备性等[34 -35 ] . ...
基于大数据的软件项目知识图谱构造及问答方法
1
2021
... 问答(question answering,QA)系统是自然语言处理领域一个重要的发展方向,其目标是通过自然语言的方式来获取知识.在很多真实应用场景下,基于知识图谱的问答系统能够带来极大的知识获取的便利性 .但除了简单地从知识图谱中检索实体,更多的问题要求问答系统具有知识推理的能力[32 -33 ] .本文介绍的知识推理方法都可 以用于基于知识图谱的知识问答系统中,用来回答复杂的问题,提升结果的准确性、完备性等[34 -35 ] . ...
基于大数据的软件项目知识图谱构造及问答方法
1
2021
... 问答(question answering,QA)系统是自然语言处理领域一个重要的发展方向,其目标是通过自然语言的方式来获取知识.在很多真实应用场景下,基于知识图谱的问答系统能够带来极大的知识获取的便利性 .但除了简单地从知识图谱中检索实体,更多的问题要求问答系统具有知识推理的能力[32 -33 ] .本文介绍的知识推理方法都可 以用于基于知识图谱的知识问答系统中,用来回答复杂的问题,提升结果的准确性、完备性等[34 -35 ] . ...
Improving multi-hop question answering over knowledge graphs using knowledge base embeddings
1
2020
... 问答(question answering,QA)系统是自然语言处理领域一个重要的发展方向,其目标是通过自然语言的方式来获取知识.在很多真实应用场景下,基于知识图谱的问答系统能够带来极大的知识获取的便利性 .但除了简单地从知识图谱中检索实体,更多的问题要求问答系统具有知识推理的能力[32 -33 ] .本文介绍的知识推理方法都可 以用于基于知识图谱的知识问答系统中,用来回答复杂的问题,提升结果的准确性、完备性等[34 -35 ] . ...
HGMAN:multi-hop and multi-answer question answering based on heterogeneous knowledge graph (student abstract)
1
2020
... 问答(question answering,QA)系统是自然语言处理领域一个重要的发展方向,其目标是通过自然语言的方式来获取知识.在很多真实应用场景下,基于知识图谱的问答系统能够带来极大的知识获取的便利性 .但除了简单地从知识图谱中检索实体,更多的问题要求问答系统具有知识推理的能力[32 -33 ] .本文介绍的知识推理方法都可 以用于基于知识图谱的知识问答系统中,用来回答复杂的问题,提升结果的准确性、完备性等[34 -35 ] . ...
Graph-based knowledge integration for question answering over dialogue
1
2020
... 除了将知识图谱嵌入通用的知识问答系统,也可将知识推理等技术直 接应用于问答系统来解决特定的问题.比如用R-GCN来建模多轮对话问答系统的对话结构和背景知识[36 ] .基于知识图谱 嵌入的问答系统正在兴起,比如将TransE向量空间与搜索技术结合,实现了基于知识图谱嵌入的问答系统[37 ] . ...
Knowledge graph embedding based question answering
1
2019
... 除了将知识图谱嵌入通用的知识问答系统,也可将知识推理等技术直 接应用于问答系统来解决特定的问题.比如用R-GCN来建模多轮对话问答系统的对话结构和背景知识[36 ] .基于知识图谱 嵌入的问答系统正在兴起,比如将TransE向量空间与搜索技术结合,实现了基于知识图谱嵌入的问答系统[37 ] . ...
Towards knowledge-based recommender dialog system
2019
Collaborative knowledge base embedding for recommender systems
1
2016
... 在理解用户方面,知识图谱能够对用户之间的网状关系进行建模,通过购买同一件商品、看过同一个视频、对同一条信息点赞等用户行为构建行为图谱,并利用知识图谱推理技术推断用户间的关系,挖掘潜在的深度需求,配合协同过滤等推荐技术来改善推荐的效果.参考文献[38]利用知识图谱来丰富用户信息,并使用R-GCN对关系和结构建模推理,从而更好地理解用户.推荐的内容(如商品、信息、知识、人物等)同样可以通过各种关系来构 建知识图谱,使用推理技术来 挖掘潜在特征,推断潜在关系,增强对推荐内容的理解,改善推荐效果.参考文献[39 ]尝试使用TransR[15 ] 来建模结构化的推荐内容,以提升推荐效果.在此之上, 推荐本身可以看成用户- 推荐内容之间的复杂的网状关系,由此可应用知识图谱推理技术来直接实现推荐.KGAT[40 ] 结合TransR[15 ] 和深度学习实现了知识图谱注意力网络的推荐方法. ...
KGAT:knowledge graph attention network for recommendation
1
2019
... 在理解用户方面,知识图谱能够对用户之间的网状关系进行建模,通过购买同一件商品、看过同一个视频、对同一条信息点赞等用户行为构建行为图谱,并利用知识图谱推理技术推断用户间的关系,挖掘潜在的深度需求,配合协同过滤等推荐技术来改善推荐的效果.参考文献[38]利用知识图谱来丰富用户信息,并使用R-GCN对关系和结构建模推理,从而更好地理解用户.推荐的内容(如商品、信息、知识、人物等)同样可以通过各种关系来构 建知识图谱,使用推理技术来 挖掘潜在特征,推断潜在关系,增强对推荐内容的理解,改善推荐效果.参考文献[39 ]尝试使用TransR[15 ] 来建模结构化的推荐内容,以提升推荐效果.在此之上, 推荐本身可以看成用户- 推荐内容之间的复杂的网状关系,由此可应用知识图谱推理技术来直接实现推荐.KGAT[40 ] 结合TransR[15 ] 和深度学习实现了知识图谱注意力网络的推荐方法. ...
Search personalization with embeddings
1
2017
... 直接使用知识推理技术来实现个性化搜索的方法也在被 尝试,参考文献[41 ]将用户、文档以及 用户与文档产生的搜索 、点击等交互关系构建成知识图谱,并使用TransE[11 ] 推理方法实现个性化搜索.参考文献[42 ]则将ConvE[25 ] 的改进版本ConvKB应用于个性化搜索. ...
A convolutional neural network-based model for knowledge base completion and its application to search personalization
1
2018
... 直接使用知识推理技术来实现个性化搜索的方法也在被 尝试,参考文献[41 ]将用户、文档以及 用户与文档产生的搜索 、点击等交互关系构建成知识图谱,并使用TransE[11 ] 推理方法实现个性化搜索.参考文献[42 ]则将ConvE[25 ] 的改进版本ConvKB应用于个性化搜索. ...
智慧城市知识图谱模型与本体构建方法
1
2020
... 随着知识 图谱的流行,知识推理在各行各业被广泛应用.在金融、投资、保险、地产、电力电网、能源、制造、生物医药、医疗、智慧城市[43 ] 等行业都能见到知识图谱推理技术的应用,本文主要介绍金融、生物医药和智能制造行业的应用情况. ...
智慧城市知识图谱模型与本体构建方法
1
2020
... 随着知识 图谱的流行,知识推理在各行各业被广泛应用.在金融、投资、保险、地产、电力电网、能源、制造、生物医药、医疗、智慧城市[43 ] 等行业都能见到知识图谱推理技术的应用,本文主要介绍金融、生物医药和智能制造行业的应用情况. ...
Knowledge-driven event embedding for stock prediction
1
2016
... 知识图谱被广泛应用在金融行业,在风险监测与控制、事件、舆情、对话机器人、金融市场事件监测等方面都有知识图谱的身影,大量的知识推理方法也被应用在具体的场景下.在风险监测与控制方面,在基于企业工商信息、诉讼信息、招聘信息以及风险事件等数据构建的大规模知识图谱中,可以利用知识推理技术挖掘隐藏的关联关系、风险传导链、担保圈链等.在金融舆情方面,可构建事件及其影响关系的图谱,使用知识推理技术来完善图谱中的关联关系,识别事件的真伪和影响后果等.在对话机器人方面,针对规章制度、财务制度、财务知识、业务知识等建立知识图谱,并使用基于知识图谱的问答技术实现对话 机器人,随时随地满足客户获取知识的需要.在投资研究方面,基于事件构建图谱,并使用知识图谱推理技术来研究对金融市场的影响[44 ] .针对小微企业信贷业务的特点,构建全方位企业画像与 企业关联图谱的贷前反欺诈模型,定量评估小微企业客户的欺诈风险,能够有效地帮助银行机构更准确地对企业申贷欺诈行为进行评估[45 ] . ...
基于知识图谱的小微企业贷款申请反欺诈方案
1
2019
... 知识图谱被广泛应用在金融行业,在风险监测与控制、事件、舆情、对话机器人、金融市场事件监测等方面都有知识图谱的身影,大量的知识推理方法也被应用在具体的场景下.在风险监测与控制方面,在基于企业工商信息、诉讼信息、招聘信息以及风险事件等数据构建的大规模知识图谱中,可以利用知识推理技术挖掘隐藏的关联关系、风险传导链、担保圈链等.在金融舆情方面,可构建事件及其影响关系的图谱,使用知识推理技术来完善图谱中的关联关系,识别事件的真伪和影响后果等.在对话机器人方面,针对规章制度、财务制度、财务知识、业务知识等建立知识图谱,并使用基于知识图谱的问答技术实现对话 机器人,随时随地满足客户获取知识的需要.在投资研究方面,基于事件构建图谱,并使用知识图谱推理技术来研究对金融市场的影响[44 ] .针对小微企业信贷业务的特点,构建全方位企业画像与 企业关联图谱的贷前反欺诈模型,定量评估小微企业客户的欺诈风险,能够有效地帮助银行机构更准确地对企业申贷欺诈行为进行评估[45 ] . ...
基于知识图谱的小微企业贷款申请反欺诈方案
1
2019
... 知识图谱被广泛应用在金融行业,在风险监测与控制、事件、舆情、对话机器人、金融市场事件监测等方面都有知识图谱的身影,大量的知识推理方法也被应用在具体的场景下.在风险监测与控制方面,在基于企业工商信息、诉讼信息、招聘信息以及风险事件等数据构建的大规模知识图谱中,可以利用知识推理技术挖掘隐藏的关联关系、风险传导链、担保圈链等.在金融舆情方面,可构建事件及其影响关系的图谱,使用知识推理技术来完善图谱中的关联关系,识别事件的真伪和影响后果等.在对话机器人方面,针对规章制度、财务制度、财务知识、业务知识等建立知识图谱,并使用基于知识图谱的问答技术实现对话 机器人,随时随地满足客户获取知识的需要.在投资研究方面,基于事件构建图谱,并使用知识图谱推理技术来研究对金融市场的影响[44 ] .针对小微企业信贷业务的特点,构建全方位企业画像与 企业关联图谱的贷前反欺诈模型,定量评估小微企业客户的欺诈风险,能够有效地帮助银行机构更准确地对企业申贷欺诈行为进行评估[45 ] . ...
PharmKG:a dedicated knowledge graph benchmark for bomedical data mining
1
2020
... 生物医药行业的多个子领域深入应用了知识图谱和推理技术,包括药物图谱、疾病图谱、蛋白质图谱、基因图谱、药物份子信息图谱等,涉及生物医药行业的方方面面[46 -47 ] .这些图谱同样存在不完备的情况,可使用知识图谱推理技术来完善这些图谱. ...
DrugBank 5.0:a major update to the DrugBank database for 2018
1
2018
... 生物医药行业的多个子领域深入应用了知识图谱和推理技术,包括药物图谱、疾病图谱、蛋白质图谱、基因图谱、药物份子信息图谱等,涉及生物医药行业的方方面面[46 -47 ] .这些图谱同样存在不完备的情况,可使用知识图谱推理技术来完善这些图谱. ...
Graph attention networks
1
2018
... 生物医药的研究对象通常是复杂的微观结构以及这些微观结构间的关系,深度学习中很 多与图结构相关的算法 是生物医药领域的研究人员提出的[48 ] .同样地,知识图谱推理技术也被广泛地直接应用于生物医药的研究,参考文献[49 ]利用R-GCN[29 ] 模型作为编码器,并使用 张量分解作为解码器,使用知 识图谱推理的方法来推断药物-蛋白质、蛋白质-蛋白质、药物-药物、药物-副作用等方面的相互作用.GrEDeL[50 ] 使用两个TransE[11 ] 结合LSTM的模型,从公开文献中挖掘潜在的治疗疾病药物,该模型把文献中构建的生物医药知识图谱拆分成语义图谱(semantic graph)和类型图谱(type graph),并用两个TransE分别对这两个图谱进行建模,然后使用LSTM模型来挖掘适用于疾病的药物. ...
Modeling polypharmacy side effects with graph convolutional networks
1
2018
... 生物医药的研究对象通常是复杂的微观结构以及这些微观结构间的关系,深度学习中很 多与图结构相关的算法 是生物医药领域的研究人员提出的[48 ] .同样地,知识图谱推理技术也被广泛地直接应用于生物医药的研究,参考文献[49 ]利用R-GCN[29 ] 模型作为编码器,并使用 张量分解作为解码器,使用知 识图谱推理的方法来推断药物-蛋白质、蛋白质-蛋白质、药物-药物、药物-副作用等方面的相互作用.GrEDeL[50 ] 使用两个TransE[11 ] 结合LSTM的模型,从公开文献中挖掘潜在的治疗疾病药物,该模型把文献中构建的生物医药知识图谱拆分成语义图谱(semantic graph)和类型图谱(type graph),并用两个TransE分别对这两个图谱进行建模,然后使用LSTM模型来挖掘适用于疾病的药物. ...
GrEDeL:a knowledge graph embedding based method for drug discovery from biomedical literatures
1
2018
... 生物医药的研究对象通常是复杂的微观结构以及这些微观结构间的关系,深度学习中很 多与图结构相关的算法 是生物医药领域的研究人员提出的[48 ] .同样地,知识图谱推理技术也被广泛地直接应用于生物医药的研究,参考文献[49 ]利用R-GCN[29 ] 模型作为编码器,并使用 张量分解作为解码器,使用知 识图谱推理的方法来推断药物-蛋白质、蛋白质-蛋白质、药物-药物、药物-副作用等方面的相互作用.GrEDeL[50 ] 使用两个TransE[11 ] 结合LSTM的模型,从公开文献中挖掘潜在的治疗疾病药物,该模型把文献中构建的生物医药知识图谱拆分成语义图谱(semantic graph)和类型图谱(type graph),并用两个TransE分别对这两个图谱进行建模,然后使用LSTM模型来挖掘适用于疾病的药物. ...
Manufacturing knowledge graph:a connectivism to answer production problems query with knowledge reuse
1
2019
... 智能制造行业极大地依赖于工程师和工人的知识与经验,为了适应越来越复杂的产品设计、生产制造等过程,知识图谱也被用来积淀、传承、管理和应用智能制造中理化、电子电气、工艺、失效、故障等的知识和经验,避免知识的流失,辅助设计工程师、质量工程师和制造 工程师分析问题,帮助现场工人快速解决问题,以及激发创新创造等.知识图谱推理技术可以用来完善图谱数据,改善图谱质量,提升知识和 经验的完备性[51 ] . ...
A knowledge graph for industry 4.0
1
2020
... 智能制造通常涉及多个跨领域的知识、规范、标准等,可以使用知识图谱技术来跟踪、跟进这些规范标准,并保持更新.参考文献[52 ]是致力于将工业4.0的标准进行图谱化的一个尝试.中国电子技术标准化研究院也在尝试将国内各种标准图谱化.辅以知识问答技术和推荐技术,能够更加方便地推进制造业应用最新的知识、经验、规范、标准等. ...
Leveraging knowledge graph embedding techniques for industry 4.0 use cases
1
2018
... 进一步地,设备传感器采集的大量信息能够有效地监测制造过程.知识图谱推理技术同样能 够用在这些数据所构建的 设备和制造过程的图谱中,优化生产制造过程,优化保养周期、预测可能发生的故障,保证生产过程处于良好的状态[53 ] .参考文献[54 ]利用TransE[11 ] 融合来自传感器的操作数据源和制造图谱的实体,为潜在的未知实体提供自动化融 合的建议,从而保持数字孪生的同步,对于依赖于数据的实时对齐的监视和管理应用具有巨大价值.在更多专业的领域,知识图谱推理技术也在发挥其价值,参考文献[55]探索了电子自动化设计(electronic design automation,EDA)中应用R-GCN的场景.在更广泛的智能制造场景中(如供应链管理、客户和供应商管理、BOM的自动创建、转换与管理、工厂员工管理等方面),知识图谱推理技术也被用来提升智能化管理水平. ...
Knowledge fusion of manufacturing operations data using representation learning
1
2017
... 进一步地,设备传感器采集的大量信息能够有效地监测制造过程.知识图谱推理技术同样能 够用在这些数据所构建的 设备和制造过程的图谱中,优化生产制造过程,优化保养周期、预测可能发生的故障,保证生产过程处于良好的状态[53 ] .参考文献[54 ]利用TransE[11 ] 融合来自传感器的操作数据源和制造图谱的实体,为潜在的未知实体提供自动化融 合的建议,从而保持数字孪生的同步,对于依赖于数据的实时对齐的监视和管理应用具有巨大价值.在更多专业的领域,知识图谱推理技术也在发挥其价值,参考文献[55]探索了电子自动化设计(electronic design automation,EDA)中应用R-GCN的场景.在更广泛的智能制造场景中(如供应链管理、客户和供应商管理、BOM的自动创建、转换与管理、工厂员工管理等方面),知识图谱推理技术也被用来提升智能化管理水平. ...
Understanding graphs in EDA:from shallow to deep learning
2020
Attention is all you need
1
2017
... ● 变换器(transformer)[1 ,56 ] 网络因其在自然语言处理领域强大的表达能力和高效的并行训练能力而大放异彩,并迅速地迁移到计算机视觉、图像处理和语音识别等领域,效果同样出众.相信变换器网络在知识图谱和知识图谱推理方面同样能表现出众. ...