用于文本相似度计算的新核函数

doi:10.3969/j.issn.1000-436x.2012.12.006

摘要/Abstract

摘要：

摘要：为了提高文本相似检测的综合表现，在文本文档相似特征的基础上构造了新的核函数S_Wang核函数。结合文本相似计算过程中的实际情况，将待比对的文本表示成向量，考虑通过2个向量间的乘积和欧氏距离来描述向量之间的相似程度，从而构造了适合文本相似度计算的新核函数，并根据 Mercer 定理证明了所构造函数可以作为核函数。实验验证了新构造的核函数在文本文档相似度计算中的表现，实验结果表明S_Wang核其相似度计算精度和综合指标均分别优于Cauchy核、潜在语义核（LSK）以及CLA复合核。S_Wang核适用于文本相似度计算。

关键词: 信息检索, 文本相似度, 核函数, S_Wang核, 潜在语义核, Cauchy核, CLA复合核

Abstract:

To enhance the performance of detecting similar documents,a novel kernel function named S_Wang kernel was constructed.Based on the actual situation of computing text similarity,the S_Wang kernel was newly bu lt with consideration of the Euclidean distance and angle between vectors that represented the text documents to be compared.It was proved that the function could be constructed as a kernel function according to Mercer theorem.Experimental verification of the performance of the kernels in the text document similarity calculation was provided.The results show that the S_Wang kernel is significantly better than the precision and F1 performance of other kernels like Cauchy kernel,Latent Semantic Kernel (LSK) and CLA kernel.S_Wang kernel is suitable for text similarity computation.

Key words: information retrieval, text similarity, kernel function, S_Wang kernel, LSK, Cauchy kernel, CLA kernel

王秀红,鞠时光. 用于文本相似度计算的新核函数[J]. 通信学报, 2012, 33(12): 43-48.

Xiu-hong WANG,Shi-guang JU. Novel kernel function for computing the similarity of text[J]. Journal on Communications, 2012, 33(12): 43-48.

图/表 5

表1

表2

表3

图1

图2

参考文献 14

[1]	Kernel functions for machine learning applications[EB/OL]. , 2011.
[2]	MARTINS A , FIGUEIREDO M , AGUIAR P . Kernels and similar y measures for text classification[A]. Proceedings of ConfTele’2007[C]. New York,USA, 2007. 1-4.
[3]	SAHAMI M , HEILMAN T D . A Web-based kernel function for measuring the similarity of short text snippets[A]. Proceedings of WWW’06[C]. New York,USA, 2006. 1-10.
[4]	TIAN Y , LI H , CAI Q ,et al. Measuring the similarity of short texts by word similarity and tree kernels[A]. Proceedings of Conf YC-ICT’10[C]. New York,USA, 2010. 69-72.
[5]	HOFMANN T . Learning the Similarity of Documents:an Information-Geometric Approach to Document Retrieval and Categorization[M]. Cambridge,MA: The MIT Press, 2000.
[6]	王秀红, 鞠时光 . 基于混合核函数的分布式信息检索结果融合[J]. 通信学报, 2011,32(4): 112-118. WANG X H , JU S G . Result merging method based on combined kernels for distributed information retrieval[J]. Journal on Communications, 2011,32(4): 112-118.
[7]	王国胜 . 核函数的性质及其构造方法[J]. 计算机科学, 2006,33(6): 171-174,178. WANG G S . Properties and construction methods of kerne in support vector machine[J]. Computer Science, 2006,33(6): 171-174,178.
[8]	任双桥, 魏玺章, 黎湘 ,等. 基于特征可分性的核函数自适应构造[J]. 计算机学报, 2008,31(5): 803-809. REN S Q , WEI X Z , LI X ,et al. Adaptive construction for kernel function based on the feature discriminability[J]. Chinese Journal of Computers, 2008,31(5): 803-809.
[9]	王华忠, 俞金寿 . 核函数方法及其模型选择[J]. 江南大学学报(自然科学版), 2006,5(4): 500-504. WANG H Z , YU J S . Study on the kernel based methods and its model selection[J]. Journal of Southern Yangtze University(Natural Science Edition), 2006,5(4): 500-504.
[10]	吴涛, 贺汉根, 贺明科 . 基于插值的核函数构造[J]. 计算机学报, 2003,26(8): 990-996. WU T , HE H G , HE M K . Interpolation based dernel funct n's construction[J]. Chinese Journal of Computers, 2003,26(8): 990-996.
[11]	SHAWE-TAYLOR J , CRISTIANINI N . Kernel Methods for Pattern Analysis[M]. Lodon: Cambridge University PressPress, 2004.
[12]	CRISTIANINI N , SHAWE-TAYLOR J , LODHI H . Latent semantic kernels[J]. Journal of Intelligent Information Systems, 2002,18(23): 127-152.
[13]	BASAK J . A least square kernel machine with box constraints[A]. 19th International Conference on Pattern Recognition[C]. New York: IEEE Press, 2008. 1-4.
[14]	CHANG C C , LIN C J . LIBSVM:a library for support vector machines[EB/OL]. , 2001.

文档term	term₁	term₂	term₃	term₄	term₅	term₆	term₇	term₈	term₉
词典（N）	A	B	C	D	F	G	L	M	P
x	1	2	1	0	1	0	0	1	1
z	0	1	1	2	0	1	1	0	0

核函数	指标	top 5	top 10	top 15	top 20	top 25	top 30	top 50	top100
	P	0.290 2	0.271 9	0.250 5	0.240 1	0.226 7	0.207	0.181 1	0.154 1
Cauchy Kernel s =1	R	0.809	0.796 7	0.781 3	0.770 2	0.766	0.753 4	0.747 7	0.726 5
	F₁	0.427 2	0.405 4	0.391 4	0.365 8	0.349 9	0.324 8	0.291 6	0.254 3
	P	0.241 4	0.218 8	0.202 6	0.190 2	0.182 1	0.170 9	0.158 2	0.139 5
LSK	R	0.984 5	0.977 8	0.963 3	0.951 2	0.939	0.921 2	0.901 9	0.881 6
	F₁	0.387 7	0.357 5	0.334 8	0.317	0.305	0.288 3	0.269 2	0.240 9
	P	0.325 3	0.291 2	0.273 4	0.255 9	0.241	0.219 9	0.198 3	0.157 7
CLA kernel	R	0.879 2	0.860 3	0.844 5	0.826 7	0.818 9	0.810 3	0.794 5	0.775 3
	F₁	0.474 8	0.435 6	0.413 2	0.390 8	0.372 4	0.345 9	0.317 4	0.262 1
S_Wang	P	0.356 1	0.326	0.304	0.281	0.264 5	0.241	0.209 3	0.169 8
Kernel	R	0.907 9	0.89	0.867 8	0.849	0.833 3	0.826	0.803 2	0.784 4
s =1	F₁	0.511 6	0.477 2	0.450 3	0.422 2	0.401 5	0.373 1	0.332 1	0.279 2

[1]	代晓丽, 刘世峰, 宫大庆. 基于NLP的文本相似度检测方法[J]. 通信学报, 2021, 42(10): 173-181.
[2]	沈焱萍,郑康锋,伍淳华,杨义先. 智能启发算法在机器学习中的应用研究综述[J]. 通信学报, 2019, 40(12): 124-137.
[3]	杨凌, 陈亮, 赵膑, 张国龙, 李媛. 基于复数支持向量回归机的盲均衡算法[J]. 通信学报, 2019, 40(10): 180-188.
[4]	李华亮,钱志鸿,田洪亮. 基于核函数特征提取的室内定位算法研究[J]. 通信学报, 2017, 38(1): 158-167.
[5]	丁伟，徐杰，卓文辉. 基于层次聚类的网络流识别算法研究[J]. 通信学报, 2014, 35(Z1): 9-45.
[6]	丁伟,徐杰,卓文辉. 基于层次聚类的网络流识别算法研究[J]. 通信学报, 2014, 35(Z1): 41-45.
[7]	刘钰峰，李仁发. 基于查询-文档异构信息网络的半监督学习[J]. 通信学报, 2014, 35(8): 6-47.
[8]	刘钰峰,李仁发. 基于查询—文档异构信息网络的半监督学习[J]. 通信学报, 2014, 35(8): 40-47.
[9]	宋震龙,蒋刚毅,黄晁,郁梅,张家乐. 基于偏度-峰度检验的无线局域网室内定位算法[J]. 通信学报, 2012, 33(5): 99-105.
[10]	吕卓逸,贾克斌,萧允治. 低复杂度的快速降尺寸视频转码算法[J]. 通信学报, 2012, 33(1): 160-166.
[11]	王秀红,鞠时光. 基于混合核函数的分布式信息检索结果融合[J]. 通信学报, 2011, 32(4): 112-118.
[12]	周欣,吴瑛. 基于SVM和RVM的信号调制分类研究[J]. 通信学报, 2010, 31(8A): 94-99.
[13]	赵方,罗海勇,林权,马严. 基于核函数法及马尔可夫链的节点定位算法[J]. 通信学报, 2010, 31(11): 195-204.
[14]	赵欢,李仁发,王家琴,张在美. 综合多层信息的本体概念相似度计算方法的研究[J]. 通信学报, 2009, 30(6): 135-141.
[15]	罗骏,欧智坚. 一种高效的语音关键词检索系统[J]. 通信学报, 2006, 27(2): 113-118.