基于CNN和双向LSTM融合的实体关系抽取

doi:10.11959/j.issn.2096-109x.2018074

网络与信息安全学报 ›› 2018, Vol. 4 ›› Issue (9): 44-51.doi: 10.11959/j.issn.2096-109x.2018074

基于CNN和双向LSTM融合的实体关系抽取

张晓斌(),陈福才,黄瑞阳

国家数字交换系统工程技术研究中心，河南郑州 450002

修回日期:2018-08-20 出版日期:2018-09-15 发布日期:2018-10-15
作者简介:张晓斌（1993-），男，福建漳州人，国家数字交换系统工程技术研究中心硕士生，主要研究方向为文本挖掘、实体关系抽取。|陈福才（1974-），男，江西高安人，硕士，国家数字交换系统工程技术研究中心研究员、硕士生导师，主要研究方向为大数据分析与处理。|黄瑞阳（1986-），男，福建漳州人，国家数字交换系统工程技术研究中心助理研究员，主要研究方向为文本挖掘、信息抽取。
基金资助:
国家自然科学基金创新群体基金资助项目(61521003);国家重点研发计划基金资助项目(2016YFB0800101)

Relation extraction based on CNN and Bi-LSTM

Xiaobin ZHANG(),Fucai CHEN,Ruiyang HUANG

China National Digital Switching System Engineering ＆Technological R＆D Center,Zhengzhou 450002,China

Revised:2018-08-20 Online:2018-09-15 Published:2018-10-15
Supported by:
The National Natural Science Fund for Creative Research Groups Project(61521003);The National Key Research and Development Program of China(2016YFB0800101)

摘要/Abstract

摘要：

实体关系抽取旨在识别网络文本中的实体，并提取出文本中实体之间隐含的关系。研究表明，深度神经网络在实体关系抽取任务上具有可行性，并优于传统关系抽取方法。目前的关系抽取方法大都使用卷积神经网络（CNN）和长短期记忆神经网络（LSTM），然而CNN只考虑连续词之间的相关性而忽略了非连续词之间的相关性。另外，LSTM虽然考虑了长距离词的相关性，但提取特征不够充分。针对这些问题，提出了一种CNN和LSTM结合的实体关系抽取方法，采用3种结合方法进行了实验，验证了该方法的有效性，在F1值上有一定的提升。

关键词: 实体关系抽取, 卷积神经网络, 长短期记忆网络, 注意力机制

Abstract:

Relation extraction aims to identify the entities in the Web text and extract the implicit relationships between entities in the text.Studies have shown that deep neural networks are feasible for relation extraction tasks and are superior to traditional methods.Most of the current relation extraction methods apply convolutional neural network (CNN) and long short-term memory neural network (LSTM) methods.However,CNN just considers the correlation between consecutive words and ignores the correlation between discontinuous words.On the other side,although LSTM takes correlation between long-distance words into account,the extraction features are not sufficiently extracted.In order to solve these problems,a relation extraction method that combining CNN and LSTM was proposed.three methods were used to carry out the experiments,and confirmed the effectiveness of these methods,which had some improvement in F1 score.

Key words: relation extraction, convolution neural networks, long short-term memory, attention mechanism

中图分类号:

TP393

张晓斌, 陈福才, 黄瑞阳. 基于CNN和双向LSTM融合的实体关系抽取[J]. 网络与信息安全学报, 2018, 4(9): 44-51.

Xiaobin ZHANG, Fucai CHEN, Ruiyang HUANG. Relation extraction based on CNN and Bi-LSTM[J]. Chinese Journal of Network and Information Security, 2018, 4(9): 44-51.

图/表 10

图1

图2

图3

图4

表1

表2

表3

表4

图5

图6

参考文献 16

[1]	IRIS H , . Semeval-2010 task 8:multi-way classification of semantic relations between pairs of nominals[C]// The Workshop on Semantic Evaluations:Recent Achievements and Future Directions. 2009.
[2]	车万翔, 刘挺, 李生 . 实体关系自动抽取[J]. 中文信息学报, 2005,19(2): 2-7.
	CHE W X , LIU T , LI S . Automatic entity relation extraction[J]. Journal of Chinese Information Processing, 2005,19(2): 2-7.
[3]	黄瑞红, 孙乐, 冯元勇, 黄云平 . 基于核方法的中文实体关系抽取研究[J]. 中文信息学报, 2008,22(5): 102-108.
	HUANG R H , SUN L , FENG Y Y ,et al. A study on kernel based chinese relation extraction[J]. Jornal of Chinese Information Processing, 2008,22(5): 102-108.
[4]	LIU C Y , SUN W B , CHAO W H ,et al. Convolution neural network for relation extraction[C]// International Conference on Advanced Data Mining and Applications. 2013.
[5]	ZENG D J ,et al. Relation classification via convolutional deep neural network[C]// COLING. 2014.
[6]	ZENG D J , LIU K , CHEN Y B ,et al. Distant supervision for relation extraction via piecewise convolutional neural networks[C]// The 2015 Conference on Empirical Methods in Natural Language Processing. 2015.
[7]	ZHANG D X , WANG D . Relation classification via recurrent neural network[J]. arXiv preprint arXiv:1508.01006, 2015.
[8]	ZHANG S , ZHENG D Q , HU X C ,et al. bidirectional long short-term memory networks for relation classification[C]// PACLIC. 2015.
[9]	ZHOU P , et al . Attention-based bidirectional long short-term memory networks for relation classification[C]// The 54th Annual Meeting of the Association for Computational Linguistics (Volume 2:Short Papers). 2016.
[10]	TOMAS M , CHEN K , CORRADO G ,et al. Efficient estimation of word representations in vector space[J]. arXiv:1301.3781, 2013.
[11]	SEPP H , SCHMIDHUBER J . Long short-term memory[J]. Neural Computation, 1997,9(8): 1735-1780.
[12]	NITISH S . Dropout:a simple way to prevent neural networks from overfitting[J]. Journal of Machine Learning Research, 2014,15(1): 1929-1958.
[13]	DIEDERIK K P , BA J . Adam:a method for stochastic optimization[J]. arXiv:1412.6980, 2014.
[14]	YAN X ,et al. classifying relations via long short term memory networks along shortest dependency paths[C]// EMNLP. 2015.
[15]	WANG L L , ZHU C , et al . Relation classification via multi-level attention cnns[C]// The 54th Annual Meeting of the Association for Computational Linguistics. 2016.
[16]	BRYAN R , HARABAGIU S . Utd:classifying semantic relations by combining lexical and semantic resources[C]// The 5th International Workshop on Semantic Evaluation. 2010.

实验环境	配置
操作系统	Win 10 64位
CPU	Intel i7-6700HQ@2.6GHz (8CPU)
GPU	NVIDIA GeForce GTX 1060
内存	16 GB
编程语言	Python 3.6.3
深度学习框架	TensorFlow 1.5.0

关系类别	个数（比例）
Other	1 410 (17.63%)
Cause-Effect	1 003 (12.54%)
Component-Whole	941 (11.76%)
Entity-Destination	845 (10.56%)
Product-Producer	717 ( 8.96%)
Entity-Origin	716 ( 8.95%)
Member-Collection	690 ( 8.63%)
Message-Topic	634 ( 7.92%)
Content-Container	540 ( 6.75%)
Instrument-Agency	504 ( 6.30%)

参数	值
词向量维度	300
位置向量维度	20
词性标注向量维度	60
批处理大小	128
adam学习率	1.00×10^?3
LSTM层dropout	0.3
其他dropout	0.5
L2正则化系数	1.00×10^?4
LSTM单元大小	512
CNN卷积核窗口长度	3
CNN卷积核个数	512

模型	准确率	召回率	F1值
SVM^[16]	82.25%	82.28%	82.19
PCNN	78.08%	87.26%	82.34
BLSTM	79.28%	82.61%	80.75
PCNN_BLSTM	82.32%	87.14%	84.46
BLSTM_PCNN	78.93%	84.73%	81.32
PCNN+BLSTM	81.25%	86.64%	83.78

基于CNN和双向LSTM融合的实体关系抽取

Relation extraction based on CNN and Bi-LSTM

在线阅读

pdf下载

可视化

摘要/Abstract

引用本文

使用本文

图/表 10

参考文献 16

相关文章 15

Metrics

推荐阅读 0

[1]	谢绒娜, 马铸鸿, 李宗俞, 田野. 基于卷积神经网络的加密流量分类方法[J]. 网络与信息安全学报, 2022, 8(6): 84-91.
[2]	章登勇, 文凰, 李峰, 曹鹏, 向凌云, 杨高波, 丁湘陵. 基于双分支网络的图像修复取证方法[J]. 网络与信息安全学报, 2022, 8(6): 110-122.
[3]	高凡, 王健, 刘吉强. 基于动态浏览器指纹的链接检测技术研究[J]. 网络与信息安全学报, 2022, 8(4): 144-156.
[4]	林点, 潘理, 易平. 面向图像识别的卷积神经网络鲁棒性研究进展[J]. 网络与信息安全学报, 2022, 8(3): 111-122.
[5]	胡向东, 田正国. 融合注意力机制和BSRU的工业互联网安全态势预测方法[J]. 网络与信息安全学报, 2022, 8(1): 41-51.
[6]	乔通, 姚宏伟, 潘彬民, 徐明, 陈艳利. 基于深度学习的数字图像取证技术研究进展[J]. 网络与信息安全学报, 2021, 7(5): 13-28.
[7]	李沛杰, 张丽, 夏云飞, 许立明. 基于软件定义的可重构卷积神经网络架构设计[J]. 网络与信息安全学报, 2021, 7(3): 29-36.
[8]	张鑫,羌卫中,吴月明,邹德清,金海. 基于卷积神经网络恶意安卓应用行为模式挖掘[J]. 网络与信息安全学报, 2020, 6(6): 35-44.
[9]	贾鉴,刘林峰,吴家皋. 基于循环神经网络的空载电动出租车的充电桩推荐方法[J]. 网络与信息安全学报, 2020, 6(6): 152-163.
[10]	孙旸,曹春杰,赖俊晓,于天娇. 基于LSTM-KF模型的无人机抗GPS欺骗方法[J]. 网络与信息安全学报, 2020, 6(5): 80-88.
[11]	谢博,申国伟,郭春,周燕,于淼. 基于残差空洞卷积神经网络的网络安全实体识别方法[J]. 网络与信息安全学报, 2020, 6(5): 126-138.
[12]	江玉朝,吉立新,高超,李邵梅. 基于卷积神经网络的多尺度Logo检测算法[J]. 网络与信息安全学报, 2020, 6(2): 116-124.
[13]	曲强,于洪涛,黄瑞阳. 基于注意力机制的社交垃圾文本检测方法[J]. 网络与信息安全学报, 2020, 6(1): 54-61.
[14]	黄伟,刘存才,祁思博. 针对设备端口链路的LSTM网络流量预测与链路拥塞方案[J]. 网络与信息安全学报, 2019, 5(6): 50-57.
[15]	张雪涛,孙蒙,王金双. 基于操作码的安卓恶意代码多粒度快速检测方法[J]. 网络与信息安全学报, 2019, 5(6): 85-94.