智能科学与技术学报 ›› 2020, Vol. 2 ›› Issue (1): 26-35.doi: 10.11959/j.issn.2096-6652.202003

• 学术论文 • 上一篇    下一篇

利用上下文相似度增强词对齐效果的自然语言推理方法

杜倩龙1,2,宗成庆1,2,苏克毅3   

  1. 1 中国科学院自动化研究所模式识别国家重点实验室,北京 100190
    2 中国科学院大学,北京 100049
    3 台湾“中央研究院”资讯科学研究所,台湾 台北 11529
  • 修回日期:2020-02-27 出版日期:2020-03-20 发布日期:2020-04-10
  • 作者简介:杜倩龙(1989- ),男,中国科学院自动化研究所博士生,主要研究方向为词义消歧、自然语言推理|宗成庆(1963- ),男,博士,中国科学院自动化研究所研究员,中国科学院大学岗位教授、博士生导师,主要研究方向为自然语言处理理论与方法、机器翻译、文本数据挖掘、人机对话系统|苏克毅(1955- ),男,博士,台湾“中央研究院”资讯科学研究所研究员,主要研究方向为机器翻译、机器阅读和自然语言理解
  • 基金资助:
    国家重点研发计划基金资助项目(2017YFB1002103)

Enhancing alignment with context similarity for natural language inference

Qianlong DU1,2,Chengqing ZONG1,2,Keh-Yih SU3   

  1. 1 National Laboratory of Pattern Recognition,Institute of Automation,Chinese Academy of Sciences,Beijing 100190,China
    2 University of Chinese Academy of Sciences,Beijing 100049,China
    3 Institute of Information Science,Academia Sinica,Taipei 11529,China
  • Revised:2020-02-27 Online:2020-03-20 Published:2020-04-10
  • Supported by:
    The National Key Research and Development Program of China(2017YFB1002103)

摘要:

当前的自然语言推理方法在进行词对齐时往往只关注如何利用上下文信息改善词汇的表示,而忽略了上下文相似度对词汇对齐的帮助。推理方法在融合局部判定信息进行结果预测时,通常赋予局部判定信息相同的权重,而实际上不同词汇对应的局部判定信息对最终结果具有不同的影响。因此,提出一种通过增强词对齐性能改善自然语言推理性能的方法,该方法在词对齐时同时考虑词汇的词义相似度和上下文相似度,并且利用选择门机制对不同的局部判定信息进行加权。实验表明,该方法能够获得与当前最优的模型相当的准确率,而且该方法更加符合人脑推理判定行为过程,且具有很好的可解释性。

关键词: 文本蕴含, 自然语言推理, 词对齐

Abstract:

Previous approaches generally use context information to improve the word representation but ignore the importance of context similarity in aligning tokens.Furthermore,most of them uniformly weight various local decisions during aggregation for the global judgment.However,local decisions related to various tokens can influence the final decision differently.In order to process these problems,an enhanced alignment mechanism was proposed,which jointly considers both token content and context similarity in computing the alignment weight for each token pair.Besides,a selection gate mechanism to weight local decisions differently was also proposed.Experimental results show that our performance is comparable to state-of-the-art approaches but better mimics human behavior,making it more interpretable.

Key words: textual entailment, ural language inference, word alignment

中图分类号: 

No Suggested Reading articles found!