基于深度学习的文本分类系统关键技术研究与模型验证

doi:10.11959/j.issn.1000-0801.2018301

电信科学 ›› 2018, Vol. 34 ›› Issue (12): 117-124.doi: 10.11959/j.issn.1000-0801.2018301

• 专栏：人工智能技术与应用 • 上一篇下一篇

基于深度学习的文本分类系统关键技术研究与模型验证

汪少敏,杨迪,任华

中国电信股份有限公司上海研究院，上海 200122

修回日期:2018-12-10 出版日期:2018-12-01 发布日期:2019-01-02
作者简介:汪少敏（1983-），女，中国电信股份有限公司上海研究院高级工程师，主要研究方向为人工智能技术、自然语言处理、大数据和数据挖掘分析。|杨迪（1982-），男，中国电信股份有限公司上海研究院高级工程师，主要研究方向为人工智能技术、智能交互。|任华（1977-），女，中国电信股份有限公司上海研究院高级工程师，主要研究方向人工智能技术、智能客服。

Key technology research and model validation of text classification system based on deep learning

Shaomin WANG,Di YANG,Hua REN

Shanghai Research Institute of China Telecom Co.,Ltd.,Shanghai 200122,China

Revised:2018-12-10 Online:2018-12-01 Published:2019-01-02

摘要/Abstract

摘要：

大数据时代，文本分类是文本数据挖掘和文本价值探索领域的重要工作。传统的文本分类系统存在特征提取能力弱、分类准确率不高的问题。相对于传统的文本分类技术，深度学习技术具有准确率高、特征提取有效等诸多优势，有必要将深度学习技术引入文本分类系统，以解决传统文本分类系统存在的问题。在分析传统文本分类系统的基础上，提出了基于深度学习的文本分类系统的体系架构和关键技术，同时对传统分类模型、TextCNN、CNN+LSTM多种分类模型进行了验证比对。

关键词: 深度学习, 文本分类, 分类模型, 神经网络

Abstract:

Text classification is very important to text data mining and value exploration.The traditional text classification system has problems of weak feature extraction ability and low classification accuracy.Compared with the traditional text classification technology,deep learning technology has many advantages such as high accuracy and effective feature extraction.Therefore,it is necessary to apply deep learning technology to the text classification system to solve the problems of the traditional text classification system.The traditional text classification system was analyzed,and the architecture and key technologies of text classification system based on deep learning were proposed.Finally,several classification models were verified and compared,including the traditional classification model,TextCNN and CNN+LSTM.

Key words: deep learning, text classification, classification model, neural network

中图分类号:

TP393

汪少敏,杨迪,任华. 基于深度学习的文本分类系统关键技术研究与模型验证[J]. 电信科学, 2018, 34(12): 117-124.

Shaomin WANG,Di YANG,Hua REN. Key technology research and model validation of text classification system based on deep learning[J]. Telecommunications Science, 2018, 34(12): 117-124.

图/表 8

图1

图2

表1

图3

图5

图4

表2

图6

参考文献 10

[1]	蔡自兴, 刘丽珏, 蔡竟峰 ,等. 人工智能及其应用（第5版）[M]. 北京: 清华大学出版社, 2016.
	CAI Z X , LIU L J , CAI J F ,et al. Artificial intelligence and its application (fifth edition)[M]. Beijing: Tsinghua University PressPress, 2016.
[2]	ANOTONELLIS I , BOURAS C , POULOPOULOS V . Personalized news categorization through scalable text classification[C]// Frontiers of WWW Research and Development-APWEB,Lecture Notes in Computer Science,January 16-18,2006,Harbin,China. New York:ACM Press, 2006: 391-401.
[3]	HU M , LIU B . Mining and summarizing customer review[C]// ACM SIGKDD International Conference on Knowledge Discovery and Data Mining,August 22-25,2004,Seattle,WA,USA. New York:ACM Press, 2004: 168-177.
[4]	蔡鑫, 娄京生 . 基于LSTM深度学习模型的中国电信官方微博用户情绪分析[J]. 电信科学, 2017,33(12): 136-141.
	CAI X , LOU J S . Sentiment analysis of telecom official micro-blog users based on LSTM deep learning model[J]. Telecommunications Science, 2017,33(12): 136-141.
[5]	JOULIN A , GRAVE E , BOJANOWSKI P ,et al. Bag of tricks for efficient text classification[J]. arXiv:1607.01759v3[cs.CL], 2016.
[6]	余凯, 贾磊, 陈雨强 ,等. 深度学习的昨天、今天和明天[J]. 计算机研究与发展, 2013(9): 1799-1804.
	YU K , JIA L , CHEN Y Q ,et al. Deep learning:yesterday,today and tomorrow[J]. Journal of Computer Research and Development, 2013(9): 1799-1804.
[7]	崔建明, 刘建明, 廖周宇 . 基于 SVM 算法的文本分类技术研究[J]. 计算机仿真, 2013(2): 299-302.
	CUI J M , LIU J M , LIAO Z Y . Research of text categorization based on support vector machine[J]. Computer Simulation, 2013(2): 299-302.
[8]	TKACHENKO M , SIMANOVSKY A . Named entity recognition:Exploring features[Z]. 2012.
[9]	ZHENG X Q , CHEN H Y , XU T Y ,et al. Deep learning for Chinese word segmentation and POS tagging[C]// Empirical Methods in Natural Language Processing,Oct 18-21,2013,Seattle,Washington,USA.[S.l.:s.n]. 2013: 647-657.
[10]	LECUN Y , BENGIO Y , HINTON G . Deep learning[J]. Nature, 2015,521(7553): 436-444.

模板1	模板2	模板3
受理号码：	分类：	【客户号码】
受理内容：	现象：	【参与时间及活动】
核查情况：	故障地点：	【参与地点】
处理要求：	派单备注：	【问题描述】
回复时限：	昵称：	【预处理结果】
	IM号：
	渠道：
	地区：

分类模型	预处理	训练集样本数	测试集样本数	类别数	准确率
朴素贝叶斯	Jieba+TF-IDF	4 109	830	15	63.49%
TextCNN	Jieba+Word2Vec	4 109	830	15	67.89%
CNN+LSTM	Jieba+Word2Vec	4 109	830	15	68.64%
朴素贝叶斯	Jieba+TF-IDF	3 191	641	5	70.80%
TextCNN	Jieba+Word2Vec	3 191	641	5	73.81%
CNN+LSTM	Jieba+Word2Vec	3 191	641	5	75.24%

[1]	刘思聪, 苏丹萍, 卫天阔, 王先耀. 基于多节点协作的鲁棒可见光智能定位[J]. 电信科学, 2023, 39(5): 28-41.
[2]	卢敏, 胡娟, 张先超, 丁伟健, 乐光学. 基于用户多特征融合的个性化推荐模型[J]. 电信科学, 2023, 39(5): 101-115.
[3]	卢敏, 秦泽豪, 陈志辉, 张敏, 乐光学. 基于1D-Concatenate的信道估计DNN模型优化方法[J]. 电信科学, 2023, 39(4): 71-86.
[4]	刘璐, 杨丹, 陈睿杰, 李嘉, 周熹. 基于KPCA-GA-BP神经网络的POI质量预测研究[J]. 电信科学, 2023, 39(1): 108-116.
[5]	诸葛斌, 尹正虎, 斯文学, 颜蕾, 董黎刚, 蒋献. 基于学生知识追踪的多指标习题推荐算法[J]. 电信科学, 2022, 38(9): 129-143.
[6]	周杰, Esono Mikue Bernardo Esono, 王学英, 周惠婷, 罗宏. 基于SLM-PTS算法融合的NC-OFDM峰均比优化[J]. 电信科学, 2022, 38(7): 63-74.
[7]	李奕江, 叶会标, 谢仁华, 楼佳丽, 庄丹娜, 李传煌. 基于图神经网络的网络性能智能预测[J]. 电信科学, 2022, 38(3): 143-157.
[8]	李攀攀, 谢正霞, 乐光学, 刘鑫. 基于深度学习的无线通信接收方法研究进展与趋势[J]. 电信科学, 2022, 38(2): 1-17.
[9]	申情, 郭文宾, 楼俊钢, 余强国. 考虑多层次潜在特征的个性化推荐模型[J]. 电信科学, 2022, 38(2): 71-83.
[10]	赵海波, 相志军, 肖林松. 基于异构数据的电力短期负荷大数据预测方案[J]. 电信科学, 2022, 38(12): 103-111.
[11]	陈靓, 钱亚冠, 何志强, 关晓惠, 王滨, 王星. 深度卷积神经网络的柔性剪枝策略[J]. 电信科学, 2022, 38(1): 83-94.
[12]	陈志宏, 王明晓. 计算机视觉在智慧安防中的应用[J]. 电信科学, 2021, 37(8): 142-147.
[13]	赵进, 杨小军. 基于GRW和FastText模型的电信用户投诉文本分类应用[J]. 电信科学, 2021, 37(6): 125-131.
[14]	唐博恒, 柴鑫刚. 基于云边协同的计算机视觉推理机制[J]. 电信科学, 2021, 37(5): 72-81.
[15]	孙姝君, 彭盛亮, 姚育东, 杨喜. 基于深度学习的调制识别综述[J]. 电信科学, 2021, 37(5): 82-90.

基于深度学习的文本分类系统关键技术研究与模型验证

Key technology research and model validation of text classification system based on deep learning

在线阅读

PDF下载

可视化

摘要/Abstract

引用本文

使用本文

图/表 8

参考文献 10

相关文章 15

Metrics

推荐阅读 0