特异群组挖掘：框架与应用

doi:10.11959/j.issn.2096-0271.2015020

大数据 ›› 2015, Vol. 1 ›› Issue (2): 66-77.doi: 10.11959/j.issn.2096-0271.2015020

特异群组挖掘：框架与应用

熊赟^1,²,朱扬勇^1,²

¹ 复旦大学计算机科学技术学院上海 201203
² 上海市数据科学重点实验室（复旦大学）上海 201203

出版日期:2015-07-20 发布日期:2017-03-08
作者简介:熊赟，女，博士，复旦大学计算机科学技术学院副教授。2004年起从事数据领域方面的研究工作，作为项目负责人主持国家自然科学基金、上海市科委发展基金以及企业合作项目。相关研究成果在本领域国际权威期刊或会议发表论文30余篇，出版专著2本。目前研究方向为数据科学、大数据。|朱扬勇，男，博士，复旦大学计算机科学技术学院教授、学术委员会主任，上海市数据科学重点实验室主任。1989年起从事数据领域研究，2008年提出数据资源保护和利用，2009年发表了数据科学论文“Data explosion,data nature and dataology”，并出版专著《数据学》，对数据科学进行了系统探讨和描述。2010年创办了“International workshop on dataology and data science”，2014年和石勇、张成奇共同创办了“International conference on data science”。第462次香山科学会议“数据科学与大数据的理论问题探索”的执行主席。《大数据技术与应用丛书》主编。目前研究方向为数据科学、大数据。
基金资助:
国家自然科学基金资助项目(61170096);国家自然科学基金资助项目(71331005)

Abnormal Group Mining:Framework and Applications

Yun Xiong^1,²,Yangyong Zhu^1,²

¹ School of Computer Science,Fudan University,Shanghai 201203,China
² Shanghai Key Laboratory of Data Science,Fudan University,Shanghai 201203,China

Online:2015-07-20 Published:2017-03-08
Supported by:
The National Natural Science Foundation of China Projects(61170096);The National Natural Science Foundation of China Projects(71331005)

摘要/Abstract

摘要：

特异群组挖掘在证券金融、医疗保险、智能交通、社会网络和生命科学研究等领域具有重要应用价值。特异群组挖掘与聚类、异常挖掘都属于根据数据对象的相似性来划分数据集的数据挖掘任务，但是，特异群组挖掘在问题定义、算法设计和应用效果方面不同于聚类和异常等挖掘任务。为此，系统地阐述了特异群组挖掘任务，分析了特异群组挖掘任务与聚类、异常等任务之间的差异，给出了特异群组挖掘任务的形式化描述及其基础算法，最后，列举了特异群组挖掘的几个重点应用。

关键词: 大数据, 数据挖掘, 特异群组, 聚类, 异常检测, 数据相似性

Abstract:

Abnormal groups can be found in a wide range of areas.Together with clustering and outlier detection,their goals are all to partition a data set according to data similarity.However,abnormal group mining (AGM) is different in problem definition,algorithm design and applications.To the best of our knowledge,the abnormal group mining problem was investigated systematically.The differences among AGM,clustering and outlier detection were analyzed.The formalized definitions on AGM and a framework algorithm were presented,and several interesting applications were particularized.

Key words: big data, data mining, abnormal group, clustering, outlier detection, data similarity

熊赟, 朱扬勇. 特异群组挖掘：框架与应用[J]. 大数据, 2015, 1(2): 66-77.

Yun Xiong, Yangyong Zhu. Abnormal Group Mining:Framework and Applications[J]. Big Data Research, 2015, 1(2): 66-77.

图/表 7

图1

图2

图3

图4

图5

图6

图7

参考文献 26

[1]	朱扬勇, 熊赟 . 大数据是数据、技术，还是应用. 大数据,2015007
	Zhu Y Y , Xiong Y . Defining big data. Big Data Research,2015007
[2]	Mark B . Gartner says solving ‘big data’ challenge involves more than just managing volumes of data. , 2011
[3]	Xiong Y , Zhu Y Y . Mining peculiarity groups in day-by-day behavioral datasets. Proceedings of IEEE International Conference on Data Mining (ICDM’09), Miami,Florida,USA, 2009:578～587
[4]	Xiong Y , Zhu Y Y , Yu Philip S , et al. Towards cohesive anomaly mining. Proceedings of the 27th AAAI Conference on Artificial Intelligence (AAAI-13), Bellevue,Washington,USA, 2013
[5]	朱扬勇, 熊赟 . 数据挖掘新任务:特异群组挖掘. 中国科技论文在线, , 2011
	Zhu Y Y , Xiong Y . Peculiarity group mining:a new task in data mining. Science Paper Online, , 2011
[6]	Jain A K . Data clustering:50 years beyond k-means. Pattern Recognition Letters, 2010,31(8):651～666
[7]	Tan P N , Steinbach M , Kumar V . Introduction to Data Mining. Boston:Addison-Wesley, 2006
[8]	Hawkins D . Identification of Outliers. London:Chapman and Hall, 1980:2～26
[9]	Chandola V , Banerjee A , Kumar V . Anomaly detection:a survey. ACM Computing Surveys, 2009,41(3):1～58
[10]	Papadimitriou S , Kitagawa H , Gibbons P B . Loci:fast outlier detection using the local correlation integral. Proceedings of the 19th International Conference on DataEngineering, Bangalore,India, 2003,315～327
[11]	Liu F T , Ting K M , Zhou Z H . On detecting clustered anomalies using SCiForest. Proceedings of ECML/PKDD, Barcelona,Spain, 2010:274～290
[12]	Dettling M , Buhlmann P . Supervised clustering of genes. Genome Biology, 2002,3(12):129～137
[13]	Ester M , Kriegel H P , Sander J . A density-based algorithm for discovering clusters in large spatial databases with noise. Proceedings of the 4th International Conference on Knowledge Discovery and Data Mining, Portland,USA, 1996:226～231
[14]	Bohm C , Plant C , Shao J . Clustering by synchronization. Proceedings of the 16th ACM SIGKDD International Conference on Knowledge Discovery and Data Mining, Washington,USA, 2010:583～592
[15]	Jiang D X , Pei J , Zhang A D . A general approach to mining quality pattern-based clusters from microarray data. Proceedings of DASFAA, Beijing,China, 2005:188～200
[16]	Gupta G ， Ghosh J . Bregman bubble clustering:a robust,scalable framework for locating multiple,dense regions in data. Proceedings of the 6th International Conference on Data Mining， Hong Kong,China， 2008:232～243
[17]	Corral A , Manolopoulos Y , Theodoridis Y . Algorithms for processing k-closest-pair queries in spatial databases. Data ＆ Knowledge Engineering Journal, 2004(49):67～104
[18]	Tao Y F , Yi K , Sheng C , et al. Efficient and accurate nearest neighbor and closest pair search in high-dimensional spase. ACM Transactions on Database Systems, 2010,35(3):1～46
[19]	Xiong Y , Zhu Y Y , Yu Philip S . Top-k similarity join in heterogeneous information networks. IEEE Transactions on Knowledge ＆ Data Engineering, 2015,27(6):1710～1723
[20]	Cheng J , Ke Y P , Fu A W . Finding maximal cliques in massive networks. IACM Transactions on Database Systems, 2011,36(4):1～34
[21]	Tomita E , Tanaka A , Takahashi H . The worst-case time complexity for generating all maximal cliques and computational experiments. Theoretical Computer Science, 2006,363(1):28～42
[22]	赵迪 . 原博时基金经理马乐“老鼠仓”深度调查. 股市动态分析, 2013
	Zhao D . The in-depth investigation of Ma Le “rat trading” at bosera select equity investment fund. Journal of Dynamic Analysis in Stock Market, 2013
[23]	Leskovec J , Lang K J , Mahoney M W . Empirical comparison of algorithms for network community detection. Proceedings of the 19th International World Wide Web Conference, Raleigh,North Carolina,USA, 2010:631～640
[24]	Feng J , Wang J , Li G . Trie-join:a trie-based method for efficient string similarity joins. The VLDB Journal, 2012,21(4):437～461
[26]	Zheng G Y , Tu K , Yang Q . ITFP:an integrated platform of mammalian transcription factors. Bioinformatics, 2008,24(20):2416～2417
	Hubert L , Arabie P . Comparing partitions. Journal of Classification, 1985,2(1):193～218

特异群组挖掘：框架与应用

Abnormal Group Mining:Framework and Applications

在线阅读

PDF下载

可视化

摘要/Abstract

引用本文

使用本文

图/表 7

参考文献 26

相关文章 15

Metrics

推荐阅读 0

[1]	钱海红, 王茂异, 熊贇. 高等教育数字化转型的现状与发展研究[J]. 大数据, 2023, 9(3): 56-70.
[2]	梅宏, 杜小勇, 金海, 程学旗, 柴云鹏, 石宣化, 靳小龙, 王亚沙, 刘驰. 大数据技术前瞻[J]. 大数据, 2023, 9(1): 1-20.
[3]	沈阳, 余梦珑. 元宇宙与大数据：时空智能中的数据洞察与价值连接[J]. 大数据, 2023, 9(1): 103-110.
[4]	陈静. 人文大数据及其在数字人文领域中的应用[J]. 大数据, 2022, 8(6): 3-14.
[5]	罗煜楚, 吴昊, 郭宇涵, 谭绍聪, 刘灿, 蒋瑞珂, 袁晓如. 数字人文中的可视化[J]. 大数据, 2022, 8(6): 74-93.
[6]	郑童哲恒, 李斌, 冯敏萱, 常博林, 王东波. 历史典籍的结构化探索——《史记·列传》数字人文知识库的构建与可视化研究[J]. 大数据, 2022, 8(6): 40-55.
[7]	李汶龙, 袁媛, 安筱鹏. 刍议大数据治理的三大基础思维[J]. 大数据, 2022, 8(4): 34-45.
[8]	汤奇峰, 邵志清, 叶雅珍. 数据交易中的权利确认和授予体系[J]. 大数据, 2022, 8(3): 40-53.
[9]	王陈慧子, 蔡玮. 元宇宙数字经济：现状、特征与发展建议[J]. 大数据, 2022, 8(3): 140-150.
[10]	杨玫, 李玮, 乔思渊, 刘巍. 中国大数据产业产值测算方法研究[J]. 大数据, 2022, 8(3): 151-160.
[11]	李德仁, 张过, 蒋永华, 沈欣, 刘伟玲. 论大数据视角下的地球空间信息学的机遇与挑战[J]. 大数据, 2022, 8(2): 3-14.
[12]	仇晓兰, 胡玉新, 上官松涛, 付琨. 遥感卫星大数据高精度一体化处理技术[J]. 大数据, 2022, 8(2): 15-27.
[13]	刘伟权, 王程, 臧彧, 胡倩, 于尚书, 赖柏锜. 基于遥感大数据的信息提取技术综述[J]. 大数据, 2022, 8(2): 28-57.
[14]	刘建强, 叶小敏, 兰友国. 我国海洋卫星遥感大数据及其应用服务[J]. 大数据, 2022, 8(2): 75-88.
[15]	杨何群, 王晓峰, 高彦青, 陆一闻, 麻炳欣, 王昕瑶. 数值天气预报对卫星大数据的需求分析[J]. 大数据, 2022, 8(2): 89-102.