生物效应大数据评估聚类算法的并行优化

doi:10.11959/j.issn.2096-0271.2018027

大数据 ›› 2018, Vol. 4 ›› Issue (3): 24-36.doi: 10.11959/j.issn.2096-0271.2018027

• 专题：生物医疗大数据 • 上一篇下一篇

生物效应大数据评估聚类算法的并行优化

彭绍亮^1,²,杨顺云²,孙哲¹,程敏霞¹,崔英博²,王晓伟²,李非³,伯晓晨³,廖湘科²

¹ 湖南大学信息科学与工程学院＆国家超级计算长沙中心,湖南长沙 410082
² 国防科技大学计算机学院,湖南长沙 410073
³ 中国人民解放军军事医学科学院,北京 100850

出版日期:2018-05-15 发布日期:2018-05-30
作者简介:彭绍亮（1979-），男，博士，国家超级计算长沙中心（湖南大学）教授、副主任，长期从事高性能计算、大数据、生物信息等技术研究工作，并担任国防科技大学“天河”生命科学方向负责人，华大基因研究院“特聘教授”。已在国际权威斯刊发表学术论文百余篇，出版专著6本，单篇论文他引次数高达1 213次。曾参与“天河”系列超级计算机应用软件研发工作，参与国家“973” 计划项目、“863” 计划项目、军队重大型号项目等13项，获军队科技进步奖一等奖1项，2016年荣立三等功。|杨顺云（1992-），男，国防科技大学计算机学院硕士生，主要研究方向为生物医药高性能计算。|孙哲（1995-），女，湖南大学信息科学与工程学院硕士生，主要研究方向为计算生物学。|程敏霞（1995-），女，湖南大学信息科学与工程学院硕士生，主要研究方向为计算生物学。|崔英博（1989-），男，国防科技大学计算机学院博士生，主要研究方向为并行计算、生物信息、生物计算。|王晓伟（1980-），男，国防科技大学计算机学院博士后，主要研究方向为大数据库和数据挖掘、生物信息学。|李非（1981-），男，博士，中国人民解放军军事医学科学院副研究员，主要研究方向为大数据、计算生物学、生物信息学。|伯晓晨（1973-），男，中国人民解放军军事医学科学院研究员、博士生导师、科技处处长，主要研究方向为新一代测序技术、系统生物学等。|廖湘科（1963-），男，中国工程院院士，“天河一号”超级计算机项目总指挥、常务副总设计师，“天河二号”超级计算机项目总指挥、总设计师，国防科技大学计算机学院院长。主要研究方向为大数据、高性能计算等。
基金资助:
国家重点研发计划基金资助项目(2017YFB0202603);国家重点研发计划基金资助项目(2017YFC1311003);国家重点研发计划基金资助项目(2016YFC1302500);国家重点研发计划基金资助项目(2016YFB0200400);国家重点研发计划基金资助项目(2017YFB0202104);国家自然科学基金资助项目(61772543);国家自然科学基金资助项目(U1435222);国家自然科学基金资助项目(61625202);国家自然科学基金资助项目(61272056);化学生物传感与计量学国家重点实验室基金项目(2016B090918122);化学生物传感与计量学国家重点实验室基金项目

Parallel optimization for clustering algorithm of large-scale biological effect evaluation

Shaoliang PENG^1,²,Shunyun YANG²,Zhe SUN¹,Minxia CHENG¹,Yingbo CUI²,Xiaowei WANG²,Fei LI³,Xiaochen BO³,Xiangke LIAO²

¹ College of Computer Science and Electronic Engineering ＆National Supercomputer Centre in Changsha,Hunan University,Changsha 410082,China
² Department of Computer Science,National University of Defense Technology,Changsha 410073,China
³ Academy of Military Medical Sciences,Beijing 100850,China

Online:2018-05-15 Published:2018-05-30
Supported by:
The National Key Research and Development Program of China(2017YFB0202603);The National Key Research and Development Program of China(2017YFC1311003);The National Key Research and Development Program of China(2016YFC1302500);The National Key Research and Development Program of China(2016YFB0200400);The National Key Research and Development Program of China(2017YFB0202104);The National Natural Science Foundation of China(61772543);The National Natural Science Foundation of China(U1435222);The National Natural Science Foundation of China(61625202);The National Natural Science Foundation of China(61272056);Guangdong Provincial Department of Science and Technology(2016B090918122);The Funds of State Key Laboratory of Chemo/Biosensing and Chemometrics

摘要/Abstract

摘要：

生物效应评估通过测定和分析生物制剂刺激各种人体细胞后的数字化转录组反应，能够快速确定相关的检测标识物和治疗靶标。基于潜在生物制剂作用下的细胞反应大数据，推测突发生物效应模式。综合考虑了MPI、OpenMP两级并行加速，移植优化了基因探针富集分析（GSEA）比对算法和聚类算法，使用不同的数据量和并行度验证了优化后算法潜在的良好可扩展性和快速处理海量生物信息数据的能力。

关键词: GSEA, 聚类, MPI, OpenMP

Abstract:

The biological assessment,including matching algorithm,is realized by measuring and analyzing the human cells’ transcription reaction after stimulated by biological agents,to quickly determine the relevant detection markers and treatment targets.Similarly,the big data strategy was used to estimate the sudden biological effect model.MPI,OpenMP two-level parallel acceleration was considered,transplantation and optimization of the GSEA alignment algorithm and clustering algorithm were used.The potential scalability and the ability of dealing with massive data by testing different scales of data and parallelisms were improved.

Key words: GSEA, clustering, MPI, OpenMP

中图分类号:

TP391

彭绍亮, 杨顺云, 孙哲, 程敏霞, 崔英博, 王晓伟, 李非, 伯晓晨, 廖湘科. 生物效应大数据评估聚类算法的并行优化[J]. 大数据, 2018, 4(3): 24-36.

Shaoliang PENG, Shunyun YANG, Zhe SUN, Minxia CHENG, Yingbo CUI, Xiaowei WANG, Fei LI, Xiaochen BO, Xiangke LIAO. Parallel optimization for clustering algorithm of large-scale biological effect evaluation[J]. Big Data Research, 2018, 4(3): 24-36.

图/表 7

图1

图2

图3

表1

图4

图5

图6

参考文献 15

[1]	PARK H S , JUN C H . A simple and fast algorithm for K-medoids clustering[J]. Expert Systems with Applications, 2009,36(2): 3336-3341.
[2]	BARRETT T , TROUP D B , WILHITE S E ,et al. NCBI GEO:archive for functional genomics data sets[J]. Nucleic Acids Research, 2013,41(Database Issue): 991-995.
[3]	PARKINSON H , KAPUSHESKY M , SHOJATALAB M ,et al. ArrayExpress-a public database of microarray experiments and gene expression profiles[J]. Nucleic Acids Research, 2007,35(Database Issue): 747-750.
[4]	KATARZYNA T , PATRYCJA C , MACIEJ W . The Cancer Genome Atlas (TCGA):an immeasurable source of knowledge[J]. Contemporary Oncology, 2015,19(1A): 68-77.
[5]	WON S J , WU H C , LIN K T ,et al. Disc overy of molecular mechanisms of lignan justicidin a using L1000 gene expr ession profiles and the Library of Integrated Network-based Cellular Signatures database[J]. Journal of Functional Foods, 2015,16: 81-93.
[6]	张威, 张扬, 曹文君 ,等. GAGE和GSEA在基因集研究中的有效性比较[J]. 现代生物医学进展, 2013,13(10): 1849-1852.
	ZHANG W , ZHANG Y , CAO W J ,et al. Comparative study of GAGE and GSEA in Gene-set analysis[J]. Progress in Modern Biomedicine, 2013,13(10): 1849-1852.
[7]	冯春琼, 邹亚光, 周其赵 ,等. GSEA在全基因组表达谱芯片数据分析中的应用[J]. 现代生物医学进展, 2009,9(13): 2553-2557.
	FENG C Q , ZOU Y G , ZHOU Q Z ,et al. The application of GSEA in data analysis of Genome microarray[J]. Progress in Modern Biomedicine, 2009,9(13): 2553-2557.
[8]	SUBRAMANIAN A , TAMAYO P , MOOTHA V K ,et al. Gene set enrichment analysis:a knowledge-based approach for interpreting genome-wide expression profiles[J]. Proceedings of the National Academy of Sciences of the United States of America, 2005,102(43): 15545-15550.
[9]	DONGARRA J . Visit to the National University for Defense Technology Changsha,China[R]. 2013.
[10]	MOOTHA V K , LINDGREN C M , ERIKSSON K F ,et al. PGC-1alpharesponsive genes involved in oxidative phosphorylation are coordinately downregulated in human diabetes[J]. Nature Genetics, 2003,34(3): 267-273.
[11]	DINU I , POTTER J D , MUELLER T ,et al. Improving gene set analysis of microarray data by SAM-GS[J]. BMC Bioinformatics, 2007,8(1): 1-13.
[12]	CARRO M S , WEI K L , ALVAREZ M J ,et al. The transcriptional network for mesenchymal transformation of brain tumors[J]. Nature, 2010,463(7279): 318-325.
[13]	GAGGERO M , LEO S , MANCA S ,et al. Parallelizing bioinformatics applications with MapReduce[J]. ResearchGate, 2008: 1-6.
[14]	MACQUEEN J B , . Some Methods for classification and Analysis of Multivariate Observations[C]// The 5th Berkeley Symposium on Mathematical Statistics and Probability,June 21-July 18,1965,California,USA. Berkeley:University of California Press, 1967: 281-297.
[15]	刘小凤 . 适用于R NA二级结构预测的改进K-medoids聚类算法研究[D]. 秦皇岛:燕山大学, 2014.
	LIU X F . Research of suitable K-medoids clustering algorithm for RNA secondary structures prediction[D]. Qinhuangdao:Yanshan University, 2014.

进程数/个	线程数/个	总核数/个	载入时间/s			计算时间/s	写时间/s
进程数/个	线程数/个	总核数/个	无通信	点对点	全局	计算时间/s	写时间/s
5	3	15	1.280	2.685	1.691	675.496	20.990
	6	30	1.878	3.099	1.678	351.376	21.077
	9	45	2.094	4.035	1.361	247.510	20.861
	12	60	2.505	4.892	1.421	189.706	20.627
10	3	30	1.810	4.918	1.254	344.862	12.012
	6	60	2.654	5.555	1.391	174.435	10.507
	9	90	2.534	5.632	1.432	123.210	10.24
	12	120	2.395	5.352	1.253	94.438	10.477
20	3	60	1.045	9.124	1.143	173.747	5.327
	6	120	1.349	9.813	0.912	91.402	5.280
	9	180	1.784	9.212	0.900	64.873	5.371
	12	240	2.264	10.213	0.992	49.286	6.025

生物效应大数据评估聚类算法的并行优化

Parallel optimization for clustering algorithm of large-scale biological effect evaluation

在线阅读

PDF下载

可视化

摘要/Abstract

引用本文

使用本文

图/表 7

参考文献 15

相关文章 6

Metrics

推荐阅读 0

[1]	邓镇龙, 陈志广. 面向非易失内存的MPI-IO接口优化[J]. 大数据, 2021, 7(2): 172-181.
[2]	崔英博, 黄春, 唐滔, 杨灿群, 廖湘科, 彭绍亮. 基因组大数据变异检测算法的并行优化[J]. 大数据, 2020, 6(5): 16-28.
[3]	王晓霞, 蒋伏松, 王宇, 熊贇. 基于ICD-10诊断编码的慢性病并发症聚类算法[J]. 大数据, 2018, 4(3): 37-45.
[4]	李海生, 黄媛洁, 宋璇, 杜军平, 陈国润, 丁富强. 手机基站定位数据可视分析[J]. 大数据, 2017, 3(1): 61-71.
[5]	海沫, 牛怡晗, 张悦今. 面向大数据的并行聚类算法在股票板块划分中的应用[J]. 大数据, 2015, 1(4): 9-17.
[6]	熊赟, 朱扬勇. 特异群组挖掘：框架与应用[J]. 大数据, 2015, 1(2): 66-77.