基于机器学习的多源威胁情报质量评价方法

doi:10.11959/j.issn.1000-0801.2020010

电信科学 ›› 2020, Vol. 36 ›› Issue (1): 119-126.doi: 10.11959/j.issn.1000-0801.2020010

基于机器学习的多源威胁情报质量评价方法

刘汉生^1,²,唐洪玉¹,薄明霞¹,牛剑锋¹,李天博¹,李玲晓¹

¹ 中国电信股份有限公司上海研究院，上海 200122
² 中国电信股份有限公司北京研究院，北京 102209

修回日期:2020-01-06 出版日期:2020-01-20 发布日期:2020-02-13
作者简介:刘汉生（1993- ），男，中国电信股份有限公司北京研究院新兴信息技术研究所网络AI研究中心工程师，主要研究方向为人工智能、威胁情报、网络智能化运维等|唐洪玉（1977- ），男，中国电信股份有限公司上海研究院云安全研究所副所长，主要研究方向为云安全、态势感知、威胁情报|薄明霞（1978- ），女，博士，中国电信股份有限公司上海研究院云安全研究所高级工程师，主要研究方向为威胁情报、软件定义安全等|牛剑锋（1993- ），男，中国电信股份有限公司上海研究院云安全研究所开发总监，主要研究方向为云安全、威胁情报等|李天博（1988- ），男，中国电信股份有限公司上海研究院云安全研究所产品运维经理，主要研究方向为Web安全|李玲晓（1991- ），女，中国电信股份有限公司上海研究院云安全研究所工程师，主要研究方向为网站安全

A multi-source threat intelligence confidence value evaluation method based on machine learning

Hansheng LIU^1,²,Hongyu TANG¹,Mingxia BO¹,Jianfeng NIU¹,Tianbo LI¹,Lingxiao LI¹

¹ Shanghai Research Institute of China Telecom Co.,Ltd.,Shanghai 200122,China
² Beijing Research Institute of China Telecom Co.,Ltd.,Beijing 102209,China

Revised:2020-01-06 Online:2020-01-20 Published:2020-02-13

摘要/Abstract

摘要：

在多源威胁情报收集过程中，由于存在数据价值密度低、情报重复度高、失效时间快等问题，情报中心难以对海量情报数据做出科学决策。针对上述问题，提出一种基于机器学习的多源威胁情报质量评价方法。首先基于标准情报格式，设计了一套多源情报数据标准化流程；其次，针对情报数据的特点，分别从情报来源、情报内容、活跃周期、黑名单库匹配程度4个维度提取特征作为评估情报质量的依据；然后针对提取的特征编码，设计了一套基于深度神经网络算法和 Softmax 分类器的情报质量评价模型，并利用反向误差传播算法最小化重构误差；最后根据2 000条开源已标注样本数据，利用K折交叉验证法对模型进行验证，得到了平均91.37%的宏查准率和84.89%的宏查全率，为多源威胁情报质量评估提供借鉴和参考。

关键词: 信息安全, 威胁情报, 质量评价, 深度神经网络

Abstract:

During the collection process of multi-source threat intelligence,it is very hard for the intelligence center to make a scientific decision to massive intelligence because the data value density is low,the intelligence repeatabil-ity is high,and the ineffective time is very short,etc.Based on those problems,a new multi-source threat intelligence confidence value evaluation method was put forward based on machine learning.First of all,according to the STIX intelligence standard format,a multi-source intelligence data standardization process was designed.Secondly,ac-cording to the characteristic of data,14 characteristics were extracted from four dimensions of publishing time,source,intelligence content and blacklist matching degree to be the basis of determining the intelligence reliability.After getting the feature encoding,an intelligence confidence value evaluation model was designed based on deep neural network algorithm and Softmax classifier.Backward propagation algorithm was also used to minimize recon-struction error.Last but not least,according to the 2 000 open source marked sample data,k-ford cross-validation method was used to evaluate the model and get an average of 91.37% macro-P rate and 84.89% macro-R rate.It was a good reference for multi-source threat intelligence confidence evaluation.

Key words: information safety, threat intelligence, confidence evaluation, deep neural network

中图分类号:

TP393

刘汉生,唐洪玉,薄明霞,牛剑锋,李天博,李玲晓. 基于机器学习的多源威胁情报质量评价方法[J]. 电信科学, 2020, 36(1): 119-126.

Hansheng LIU,Hongyu TANG,Mingxia BO,Jianfeng NIU,Tianbo LI,Lingxiao LI. A multi-source threat intelligence confidence value evaluation method based on machine learning[J]. Telecommunications Science, 2020, 36(1): 119-126.

图/表 8

图1

图2

表1

表2

表3

图3

图4

表4

参考文献 12

[1]	DANDURAND L , SERRANO O S . Towards improved cyber security information sharing[Z]. 2013.
[2]	刘春年, 张凌宇 . 应急信息可信度研究范式的三维阐释与构建——基于工程化思维与 WSR 方法论[J]. 现代情报, 2017,37(6): 24-30.
	LIU C N , ZHANG L Y . Three dimensional interpretation and construction of emergency information credibility research paradigm_based on engineering thinking and WSR methodology[J]. Journal of Modern Information, 2017,37(6): 24-30.
[3]	贺雅琪 . 多源异构数据融合关键技术研究及其应用[D]. 成都:电子科技大学, 2018.
	HE Y Q . Research and applications on the key technology of multi-source heterogeneous data fusion[D]. Chengdu:University of Electronic Science and Technology of China, 2018.
[4]	徐留杰, 翟江涛, 杨康 ,等. 一种多源网络安全威胁情报采集与封装技术[J]. 网络安全技术与应用, 2018(10): 23-26.
	XU L J , ZHAI J T , YANG K ,et al. A multi-source network security threat information collection and packaging technology[J]. Network Security Technology ＆ Application, 2018(10): 23-26.
[5]	MOHAISEN A,AL-IBRAHIM O , KAMHOUA C ,et al. Re-thinking information sharing for threat intelligence[Z]. 2017.
[6]	STHONNARD O , DACIER M . Actionable knowledge discov-ery for threats intelligence support using a multi-dimensional data mining methodology[Z]. 2008.
[7]	QAMAR S , ANWAR Z , RAHMAN M A ,et al. Data-driven analytics for cyber-threat intelligence and information shar-ing[J]. Computers ＆ Security, 2017(67): 35-58.
[8]	侯艳芳, 王锦华 . 基于自更新威胁情报库的大数据安全分析方法[J]. 电信科学, 2018,34(3): 56-64.
	HOU Y F , WANG J H . Big data security analysis method based on self-update threat intelligence database[J]. Telecommunications Science, 2018,34(3): 56-64.
[9]	李蕾 . 网络空间中威胁情报可信度多维度分析模型研究[D]. 北京:北京邮电大学, 2018.
	LI L . Study on the multi-dimensional analysis model of threat intelligence credibility in cyberspace[D]. Beijing:Beijing University of Posts and Telecommunications, 2018.
[10]	BOU-HARB E , LUCIA W , FORTI N ,et al. Cyber meets control:a novel federated approach for resilient cps leveraging real cyber threat intelligence[J]. IEEE Communications Magazine, 2017: 2-8.
[11]	SERKETZIS N , KATOS V , ILIOUDIS C ,et al. Actionable threat intelligence for digital forensics readiness[J]. Information＆ Computer Security, 2019,27(2).
[12]	方滨兴 . 定义网络空间安全[J]. 网络与信息安全学报, 2018,4(1): 1-5.
	FANG B X . Define cyberspace security[J]. Chinese Journal of Network and Information Security, 2018,4(1): 1-5.

符号（特征）	描述	示例（将时间转换为毫秒值）
T_now	当前时间	1 559 638 191 019
T_latest	情报最近发布时间	1 559 638 132 222
T_sec	情报发布时间2（空为0）	1 559 638 131 115
T_thir	情报发布时间3（空为0）	0

符号（特征）	描述	示例
T_attack	攻击类型（可包含多种）	100000010000
N_IP地址	情报中恶意IP地址个数	4
P_longitude	情报中一个随机IP地址或域名经度	27.32
P_latitude	情报中一个随机IP地址或域名纬度	106.37
N_domain	情报中恶意域名个数	2
N_url	情报中恶意URL个数	5
N_hash	情报中恶意Hash个数	3

符号（特征）	描述	示例
C_IP地址	与黑名单库IP地址重叠个数	3
C_domain	与黑名单库域名重叠个数	5
C_url	与黑名单库URL重叠个数	1
C_hash	与黑名单库Hash重叠个数	2

算法	macroP	macroR	macroF1
本文算法	91.37%	84.89%	88.01%
SVM	85.30%	80.26%	82.74%
决策树算法	75.71%	68.34%	71.83%

[1]	卢敏, 秦泽豪, 陈志辉, 张敏, 乐光学. 基于1D-Concatenate的信道估计DNN模型优化方法[J]. 电信科学, 2023, 39(4): 71-86.
[2]	陈滏媛, 董振江, 董建阔, 徐敏杰. 车联网安全防护技术综述[J]. 电信科学, 2023, 39(3): 1-15.
[3]	陈伟雄, 杨晓晨, 春增军, 李若兰, 张华. 电力企业网络安全威胁情报管理体系的研究与实践[J]. 电信科学, 2022, 38(7): 184-189.
[4]	李攀攀, 谢正霞, 乐光学, 刘鑫. 基于深度学习的无线通信接收方法研究进展与趋势[J]. 电信科学, 2022, 38(2): 1-17.
[5]	张海涛, 蒋熠, 竺士杰, 陈琦. 电信运营商威胁情报体系研究与应用探索[J]. 电信科学, 2022, 38(12): 121-132.
[6]	吴忠平, 王路杰, 许佳诺, 王彦博, 章立伟. 基于量子保密通信及5G硬切片专网的配网应用研究[J]. 电信科学, 2022, 38(1): 159-169.
[7]	孙姝君, 彭盛亮, 姚育东, 杨喜. 基于深度学习的调制识别综述[J]. 电信科学, 2021, 37(5): 82-90.
[8]	闵锐. 高效深度神经网络综述[J]. 电信科学, 2020, 36(4): 115-124.
[9]	刘道远,孙科达,周君良,范海东. 模糊综合评判法在电力企业网络信息安全评估中的应用[J]. 电信科学, 2020, 36(3): 34-41.
[10]	李亚杰,赵永利,刘守东,张杰. 基于人工智能的光纤非线性均衡算法研究概述[J]. 电信科学, 2020, 36(3): 61-70.
[11]	衷宇清,王浩,林泽兵,王敏,陈立业. 多密钥加密方法设计[J]. 电信科学, 2020, 36(11): 89-97.
[12]	张园,王慧芬,王翰铭. 机器视觉技术、标准及安全产业应用[J]. 电信科学, 2020, 36(11): 104-112.
[13]	薄明霞,唐洪玉,马晨,张鉴. 基于大数据分析的安全威胁情报在电信运营商的落地应用[J]. 电信科学, 2020, 36(11): 127-133.
[14]	奚晓音,袁晓云. 国内外行业标杆企业在网络与信息安全领域的实践分析[J]. 电信科学, 2020, 36(11): 134-140.
[15]	崔帅南,彭宗举,邹文辉,陈芬,陈华. 多特征融合的合成视点立体图像质量评价[J]. 电信科学, 2019, 35(5): 104-112.

基于机器学习的多源威胁情报质量评价方法

A multi-source threat intelligence confidence value evaluation method based on machine learning

在线阅读

PDF下载

可视化

摘要/Abstract

引用本文

使用本文

图/表 8

参考文献 12

相关文章 15

Metrics

推荐阅读 0