基于注意力机制的社交垃圾文本检测方法

doi:10.11959/j.issn.2096-109x.2020002

网络与信息安全学报 ›› 2020, Vol. 6 ›› Issue (1): 54-61.doi: 10.11959/j.issn.2096-109x.2020002

基于注意力机制的社交垃圾文本检测方法

曲强,于洪涛(),黄瑞阳

国家数字交换系统工程技术研究中心，河南郑州 450002

修回日期:2019-07-11 出版日期:2020-02-15 发布日期:2020-03-23
作者简介:曲强（1994- ），男，黑龙江齐齐哈尔人，国家数字交换系统工程技术研究中心硕士生，主要研究方向为网络空间安全、大数据分析与处理、复杂网络异常用户检测|于洪涛（1970- ），男，辽宁丹东人，博士，国家数字交换系统工程技术研究中心研究员，主要研究方向为网络大数据分析与处理|黄瑞阳（1986- ），男，福建漳州人，博士，国家数字交换系统工程技术研究中心助理研究员，主要研究方向为文本挖掘、图挖掘
基金资助:
国家自然科学基金创新群体基金资助项目(61521003)

Attention-based approach of detecting spam in social networks

Qiang QU,Hongtao YU(),Ruiyang HUANG

National Digital Switching System Engineering ＆Technological R＆D Center,Zhengzhou 450002,China

Revised:2019-07-11 Online:2020-02-15 Published:2020-03-23
Supported by:
The National Natural Science Foundation Innovation Group Project(61521003)

摘要/Abstract

摘要：

在社交网络中，大量的垃圾文本严重威胁用户的信息安全与社交网站的信用体系。针对噪声性与稀疏性问题，提出一种基于注意力机制的卷积神经网络检测方法。在经典卷积神经网络的基础上，该方法增加了过滤层，并在过滤层设计基于朴素贝叶斯权重技术的注意力机制，解决了噪声性问题。并且，它改变了池化层原有的策略，采用基于注意力机制的池化策略，缓解了稀疏性问题。结果表明，相对于其他检测方法，所提方法的检测准确率在4个数据集上分别提高了1.32%、2.15%、0.07%、1.63%。

关键词: 社交网络, 信息安全, 垃圾文本, 注意力机制

Abstract:

In social networks,a large amount of spam has seriously threaten users' information security and the credit system of social websites.Aiming at the noise and sparsity problems,an attention-based CNN method was proposed to detect spam.On the basis of classical CNN,this method added a filter layer in which an attention mechanism based on Naive Bayesian weighting technology was designed to solve the noise issue.What’s more,instead of the original pooling strategy,it adapted an attention-based pooling policy to alleviate the sparsity problem.Compared with other methods,the results show that the accuracy has increased by 1.32%，2.15%，0.07%，1.63% on four different data sets.

Key words: social networks, information security, spam, attention system

中图分类号:

TP309

曲强,于洪涛,黄瑞阳. 基于注意力机制的社交垃圾文本检测方法[J]. 网络与信息安全学报, 2020, 6(1): 54-61.

Qiang QU,Hongtao YU,Ruiyang HUANG. Attention-based approach of detecting spam in social networks[J]. Chinese Journal of Network and Information Security, 2020, 6(1): 54-61.

图/表 6

图1

表1

表2

表3

表4

图2

参考文献 16

[1]	ZAFARANI , REZA , HUAN LIU , . 10 bits of surprise:detecting malicious users with minimum information[C]// The 24th ACM International on Conference on Information and Knowledge Management. 2015: 423-431.
[2]	RATKIEWICZ , JACOB , . Detecting and tracking political abuse in social media[C]// ICWSM. 2011: 297-304.
[3]	BENEVENUTO , FABRICIO , . Detecting spammers on twitter[C]// Collaboration,Electronic Messaging,Anti-abuse and Spam Conference. 2010:12.
[4]	SONG G E . Short text classification:a survey[J]. Journal of Multimedia, 2014,9(5):635.
[5]	YOON K . Convolutional neural networks for sentence classification[J]. arXiv preprint arXiv:1408.5882, 2014.
[6]	MIKOLOV , TOMAS , . Recurrent neural network based language model[C]// Eleventh Annual Conference of the International Speech Communication Association. 2010.
[7]	PASCANU R , MIKOLOV T , BENGIO Y . On the difficulty of training recurrent neural networks[C]// International Conference on Machine Learning. 2013: 1310-1318.
[8]	TANG D Y , QIN B , LIU T . Document modeling with gated recurrent neural network for sentiment classification[C]// The 2015 Conference on Empirical Methods in Natural Language Processing. 2015: 1422-1432.
[9]	ZHANG X M , LI H , QU H . AHNN:an attention-based hybrid neural network for sentence modeling[C]// National CCF Conference on Natural Language Processing and Chinese Computing. 2017: 731-740.
[10]	ZHANG Y , ER M J , WANG N . Attention pooling-based convolutional neural network for sentence modelling[J]. Information Sciences 373, 2016: 388-403.
[11]	LI S , ZHAO Z , LIU T ,et al. Initializing convolutional filters with semantic features for text classification[C]// The 2017 Conference on Empirical Methods in Natural Language Processing. 2017: 1884-1889.
[12]	DU C S , HUANG L . Text classification research with attention-based recurrent neural networks[C]// International Journal of Computers Communications ＆ Control. 2018: 50-61.
[13]	ZHOU P , SHI W , TIAN J . Attention-based bidirectional long short-term memory networks for relation classification[C]// The 54th Annual Meeting of the Association for Computational Linguistics. 2016: 207-212.
[14]	WANG S D , MANNING C D . Manning.Baselines and bigrams:simple,good sentiment and topic classification[C]// The 50th Annual Meeting of the Association for Computational Linguistics. 2012: 90-94.
[15]	GOLDBERG Y , LEVY O . Word2vec explained:deriving Mikolov et al's negative-sampling word-embedding method[J]. arXiv preprint arXiv:1402.3722, 2014.
[16]	PENNINGTON J , SOCHER R , MANNING C . Glove:global vectors for word representation[C]// The 2014 Conference on Empirical Methods in Natural Language Processing (EMNLP). 2014: 1532-1543.

数据集	垃圾文本的检测准确率	正常文本的检测准确率	文本总数
Youtube	1 005(51.25%)	956(48.75%)	1 961
Opinion	800(50%)	800(50%)	1 600
SMS	3 198(13.41%)	4 827(86.59%)	5 574
E-mail	1 813(39.40%)	2 788(60.60%)	4 601

检测方法	Youtube	Opinion	SMS	E-mail
CNN^[5]	92.86	86.26	99.64	87.17
RNN^[6]	87.24	70.62	98.74	85.65
LSTM^[7]	89.80	78.75	98.20	89.78
GRU^[8]	87.75	81.25	98.92	89.56
Semantic-CNN^[11]	95.11	90.30	99.82	87.14
AP-BiLSTM^[13]	91.35	91.16	99.75	88.61
本文方法(MA-CNN)	96.43	93.31	99.89	91.41

表示方法	Youtube	Opinion	SMS	E-mail
Random	92.86	86.26	99.64	87.17
SkipGram	93.37	87.39	99.28	86.52
CBOW	93.87	82.50	99.46	87.39
Glove	92.86	87.50	98.56	78.48

激活函数	Youtube	Opinion	SMS	E-mail
relu	92.86	86.26	99.64	87.17
sigmoid	89.80	75.63	98.75	85.87
tanh	89.28	74.37	99.10	86.96
softplus	93.37	85.63	99.46	87.39
softsign	89.29	74.38	98.56	86.73
leakly-relu	92.36	85.62	99.28	86.95

基于注意力机制的社交垃圾文本检测方法

Attention-based approach of detecting spam in social networks

在线阅读

pdf下载

可视化

摘要/Abstract

引用本文

使用本文

图/表 6

参考文献 16

相关文章 15

Metrics

推荐阅读 0

[1]	刘赣秦, 李晖, 朱辉, 黄煜坤, 刘兴东. 低功耗嵌入式平台的SM2国密算法优化实现[J]. 网络与信息安全学报, 2022, 8(6): 29-38.
[2]	刘军, 袁霖, 冯志尚. 集群网络密钥管理方案研究综述[J]. 网络与信息安全学报, 2022, 8(6): 52-69.
[3]	章登勇, 文凰, 李峰, 曹鹏, 向凌云, 杨高波, 丁湘陵. 基于双分支网络的图像修复取证方法[J]. 网络与信息安全学报, 2022, 8(6): 110-122.
[4]	夏毅, 兰明敬, 陈晓慧, 罗军勇, 周刚, 何鹏. 可解释的知识图谱推理方法综述[J]. 网络与信息安全学报, 2022, 8(5): 1-25.
[5]	高凡, 王健, 刘吉强. 基于动态浏览器指纹的链接检测技术研究[J]. 网络与信息安全学报, 2022, 8(4): 144-156.
[6]	时文旗, 罗向阳, 郭家山. 基于加权最小二乘的社交网络用户定位方法[J]. 网络与信息安全学报, 2022, 8(3): 41-52.
[7]	胡向东, 田正国. 融合注意力机制和BSRU的工业互联网安全态势预测方法[J]. 网络与信息安全学报, 2022, 8(1): 41-51.
[8]	谢绒娜, 范晓楠, 袁琳, 郭子晨, 朱家玉, 史国振. 在线社交网络中延伸访问控制机制研究[J]. 网络与信息安全学报, 2021, 7(5): 123-131.
[9]	李瑾, 曹进, 张跃宇, 张美茹, 李晖. 信息安全专业课程思政的逆向教学设计——以西安电子科技大学“无线通信网络安全”课程为例[J]. 网络与信息安全学报, 2021, 7(3): 166-174.
[10]	蒋忠元, 陈贤宇, 马建峰. 社交网络中的社团隐私研究综述[J]. 网络与信息安全学报, 2021, 7(2): 10-21.
[11]	张鑫,羌卫中,吴月明,邹德清,金海. 基于卷积神经网络恶意安卓应用行为模式挖掘[J]. 网络与信息安全学报, 2020, 6(6): 35-44.
[12]	刘国杰,张建标. 基于TPCM的服务器可信PXE启动方法[J]. 网络与信息安全学报, 2020, 6(6): 105-111.
[13]	贾鉴,刘林峰,吴家皋. 基于循环神经网络的空载电动出租车的充电桩推荐方法[J]. 网络与信息安全学报, 2020, 6(6): 152-163.
[14]	王培,贾焰,李爱平,蒋千越. 基于DeepLink的社交网络去匿名方法[J]. 网络与信息安全学报, 2020, 6(4): 104-108.
[15]	胡桥,胡玉鹏,廖鑫,秦拯,孙建华,张吉良. 湖南大学信息安全专业本科培养计划修订调查分析及改进思路[J]. 网络与信息安全学报, 2020, 6(4): 153-158.