基于SVM过滤的微博新闻话题检测方法

doi:10.3969/j.issn.1000-436x.2013.Z2.015

通信学报 ›› 2013, Vol. 34 ›› Issue (Z2): 74-78.doi: 10.3969/j.issn.1000-436x.2013.Z2.015

基于SVM过滤的微博新闻话题检测方法

程俊霞¹,李芝棠^1,²,邹明光¹,肖津¹

¹ 华中科技大学计算机学院，湖北武汉 430074
² 下一代互联网接入系统国家工程实验室，湖北武汉 430074

出版日期:2013-12-25 发布日期:2017-06-16

Novel topic detection method for microblog based on SVM filtration

Jun-xia CHENG¹,Zhi-tang LI^1,²,Ming-guang ZOU¹,Jin XIAO¹

¹ School of Computer Science and Technology,Huazhong University of Science and Technology,Wuhan 430074,China
² National Engineering Laboratory for Next Gerneration Internet Access System,Wuhan 430074,China

Online:2013-12-25 Published:2017-06-16

摘要/Abstract

摘要：

在基于聚类的话题检测方法上提出了一种基于 SVM 过滤的检测方法，该方法在聚类前将微博文本特征抽象成用于输入向量机的向量，对微博文本进行过滤，降低了计算量。井针对微博聚类的长尾现象提出了基于高频词排序的改进单遍聚类方法，能很好地检测孤立点的存在。实验表明，该方法在海量微博数据中能有效地检测出新闻话题。

关键词: 话题检测, 特征向量, SVM

Abstract:

A detection method based on SVM filtration was proposed.The method uses text feature as imported vectors to filtrate microblog news,reducing the amount of calculation greatly.A single-pass clustering algorithm based on the improvement of high-frequency words sorting was proposed,which can detect isolated points commendably.Experimental results show that the method can detect news topics from massive microblog data efficiently.

Key words: topic detecting, characteristic vector, SVM

程俊霞,李芝棠,邹明光,肖津. 基于SVM过滤的微博新闻话题检测方法[J]. 通信学报, 2013, 34(Z2): 74-78.

Jun-xia CHENG,Zhi-tang LI,Ming-guang ZOU,Jin XIAO. Novel topic detection method for microblog based on SVM filtration[J]. Journal on Communications, 2013, 34(Z2): 74-78.

图/表 5

图1

表1

图2

表2

表3

时间段	微博数	检测数	孤立点		漏检数	检测率
时间段	微博数	检测数	实际量	检测量	漏检数	检测率
10～12	2 756	1 614	1 439	1 431	8	58.57%
12～14	1 727	1 031	795	791	4	59.69%
14～16	2 414	1 401	1 253	1 245	8	56.21%

测试类别			特征类别
测试类别	所有特征	无URL链接	无表情符号	无特殊标点符号	无语句数统计值
准确率	95.57%	90.90%	90.3%	89.26%	71.8%
有效微博召回率	98.92%	92.58%	89.49%	88.17%	31.26%

ID	话题内容	主题词	合井
1	【昆明地铁空载试运行脱轨致1死1伤】	昆明，脱轨，地铁，运行，列车，车厢，司机，试，调查组，载，轻伤，值班，南段	90
2	【我国下月起 400 余品种药物降价，平均降幅15%】	药品，降价，财政局，下月，降幅，品种，自筹，解热，镇痛，平均，限价，剂型	75
3	【热水袋充电变“炸弹”烫伤5岁男童半张脸】	热水袋，充电，烫伤，脸部，男童，炸弹，大面积，床头柜，爆炸，烧伤，脖子，孙子	57
4	【中科院报告：中国2049年全面超越美国实现复兴】	超越，中科院，复兴，时间表，美国，路线图，报告，实现，全面，总量，提出，预计	56
5	【兰考火灾事故6名相关责任人被停职检查】	责任人，民政局，兰考，停职，城关，镇长，党委，火灾，民政，科员，局长，书记	53

[1]	LUO W H，LIU Q . Research and development of topic detection and tracking technology[A]. Research and Development of Topic Detection and Tracking Technology[C]. 2003. 1437-1440.
[2]	SUN W P . Research on the Detection and Tracking of Chinese Micro blog Hot Topic[D]. Beijing:Beijing Jiaotong University, 2011.
[3]	CRESTANI M F , RUTHVEN I . Construction of topics and clusters in topic detection and tracking tasks approach in semantic technology and information retrieval[A]. Technology and Information Retrieval International Conference[C]. Putrajaya, 2011. 171-174.
[4]	LI R F , GUO W B . HMM-based state prediction for Internet hot topic[A]. Computer Science and Automation Engineering International Conference[C]. Guangzhou,China, 2009. 157-161.
[5]	SEO Y W , SYCARA K . Text Clustering for Topic Detection Technical Report[D]. Carnegie Mellon University, 2004.

[1]	李丹,兰巨龙,王鹏,胡宇翔. 基于最优加权图匹配的服务功能链部署方法[J]. 通信学报, 2019, 40(3): 10-18.
[2]	庄陵,马靖怡,王光宇,关鹃. FIR数字滤波器零极点灵敏度分析及优化实现[J]. 通信学报, 2018, 39(9): 168-177.
[3]	段然,顾纯祥,祝跃飞,郑永辉,陈莉. NTRU格上高效的基于身份的全同态加密体制[J]. 通信学报, 2017, 38(1): 66-75.
[4]	吴杨,王韬,邢萌,李进东. 基于密文随机性度量值分布特征的分组密码算法识别方案[J]. 通信学报, 2015, 36(4): 147-155.
[5]	刘怡良，石亚丽，冯蒿，王良民. 车联网中基于神经网络的入侵检测方案[J]. 通信学报, 2014, 35(Z2): 32-239.
[6]	刘怡良,石亚丽,冯蒿,王良民. 车联网中基于神经网络的入侵检测方案[J]. 通信学报, 2014, 35(Z2): 233-239.
[7]	程俊霞1，李芝棠1,2，邹明光1，肖津1. 基于SVM过滤的微博新闻话题检测方法[J]. 通信学报, 2013, 34(Z2): 15-78.
[8]	周学广,高飞,孙艳. 基于依存连接权VSM的子话题检测与跟踪方法[J]. 通信学报, 2013, 34(8): 1-9.
[9]	周学广，高飞，孙艳. 基于依存连接权VSM的子话题检测与跟踪方法[J]. 通信学报, 2013, 34(8): 1-9.
[10]	王鼎,姚晖,吴瑛. 校正源方位存在偏差时的幅相误差顽健校正算法[J]. 通信学报, 2012, 33(6): 180-190.
[11]	吕卓逸,贾克斌,萧允治. 低复杂度的快速降尺寸视频转码算法[J]. 通信学报, 2012, 33(1): 160-166.
[12]	鲍拯,王永良. 新的二维谱估计方法——参数加权法[J]. 通信学报, 2006, 27(6): 16-20.
[13]	张永亮,曾以成. 一种分数余弦变换及应用[J]. 通信学报, 2005, 26(9): 111-115.

基于SVM过滤的微博新闻话题检测方法

Novel topic detection method for microblog based on SVM filtration

在线阅读

PDF下载

可视化

被引次数

摘要/Abstract

引用本文

使用本文

图/表 5

参考文献 5

相关文章 13

Metrics

推荐阅读 0