大数据 ›› 2024, Vol. 10 ›› Issue (4): 51-65.doi: 10.11959/j.issn.2096-0271.2024050

• 专题:大数据与云存储 • 上一篇    

面向广域分布式计算环境的任务与资源动态双向匹配方法

尚晶1, 肖利民2,3, 肖智文1, 王锦权2,3, 武智晖1, 李辉阳2,3, 张逸飞1, 宋尧4, 王冀彬1   

  1. 1 中移动信息技术有限公司,北京 100033
    2 复杂关键软件环境全国重点实验室,北京 100191
    3 北京航空航天大学计算机学院,北京 100191
    4 中国信息通信研究院,北京 100191
  • 出版日期:2024-07-01 发布日期:2024-07-01
  • 作者简介:尚晶(1978- ),女,博士,中国移动信息技术中心高级工程师,中国移动首席专家,主要研究方向为大数据、云计算、数据库。
    肖利民(1970- ),男,博士,北京航空航天大学教授、博士生导师,计算机科学技术系主任,系统结构研究所所长,中国计算机学会大数据专委会委员、高性能计算专委会委员、容错计算专委会委员,中国电子学会云计算专委会委员,主要研究方向为计算机体系结构、大数据存储、高性能计算等。曾获国家科技进步二等奖4项、省部级科技一等奖4项及其他省部级奖5项。
    肖智文(1993- ),男,博士,中国移动信息技术中心中级工程师,主要研究方向为大数据、机器学习、云计算。
    王锦权(1998- ),男,北京航空航天大学博士生,主要研究方向为分布式存储系统、分布式调度系统、高性能计算等。
    武智晖(1978- ),男,中国移动信息技术中心高级工程师、架构师,主要研究方向为大数据平台、数据处理、数据库。
    李辉阳(2000- ),男,北京航空航天大学硕士生,主要研究方向为分布式调度系统、大数据存储等。
    张逸飞(1996- ),男,博士,中国移动信息技术中心中级工程师、项目经理,主要研究方向为大数据、机器学习、云计算。
    宋尧(1994- ),男,博士,中国信息通信研究院技术与标准研究所中级工程师,主要研究方向为高性能计算、边缘计算、算网融合、分布式存储、分布式调度系统、存算联动调度等。
    王冀彬(1980- ),男,中国移动信息技术中心高级工程师、大数据事业部总经理,主要研究方向为大数据、数据分析。
  • 基金资助:
    国家重点研发计划项目(2023YFB4503100);国家自然科学基金项目(U23B2027);中国移动“联创+”资助项目(R23103E4)

A dynamic bidirectional matching method of tasks and resources oriented to wide-area distributed computing

Jing SHANG1, Limin XIAO2,3, Zhiwen XIAO1, Jinquan WANG2,3, Zhihui WU1, Huiyang LI2,3, Yifei ZHANG1, Yao SONG4, Jibin WANG1   

  1. 1 China Mobile Information Technology Center, Beijing 100033, China
    2 State Key Laboratory of Complex &Critical Software Environment, Beijing 100191, China
    3 Computer Science and Engineering, Beihang University, Beijing 100191, China
    4 China Academy of Information and Communications Technology, Beijing 100191, China
  • Online:2024-07-01 Published:2024-07-01
  • Supported by:
    The National Key Research and Development Program of China(2023YFB4503100);The National Natural Science Foundation of China(U23B2027);China Mobile Joint R&D Project(R23103E4)

摘要:

广域分布式计算环境可提供大规模的计算和存储资源,是支持算力互联和数据流转的重要基础设施。在广域分布式计算环境中,任务与资源的匹配对于提高系统性能具有重要意义。然而,任务与资源的多样性、地理位置分散的资源会增加二者匹配的复杂性。针对响应延迟高、匹配效率低等问题,提出了面向广域分布式计算环境的任务与资源动态匹配方法,通过建立统一的任务需求模型和资源能力模型来简化匹配过程,降低响应延迟。此外,定义了任务向匹配度和资源向匹配度以刻画任务视角和资源视角的偏好,并权衡二者;定义了任务和资源的双向综合匹配度以量化任务需求和资源能力的适配程度。最后通过动态计算每一组任务与资源间的双向综合匹配度以优化匹配效果。实验结果表明,与现有的方法相比,该方法可提升匹配效果,并大幅降低平均响应延迟。

关键词: 广域协同调度, 资源匹配, 双向匹配, 广域分布式计算环境

Abstract:

Due to the huge capacities of computing and storage resources, wide-area distributed computing environment has become important infrastructures supporting computing power and data interconnection.In wide-area distributed computing environment, matching of tasks and resources is important to improve system performance.However, the diversity of tasks and resources and the geographical dispersion of resources increase the complexity of matching problems.To solve the problems of high response delay and low matching efficiency, a dynamic bidirectional matching method of tasks and resources oriented to wide-area distributed computing environments is proposed.The matching process is simplified and the response delay is mitigated by building a unified task requirement model and resource capability model.Moreover, the task-oriented and resource-oriented matching degrees are defined to express the preference of task-perspective and resource-perspective; the two-side comprehensive matching degree of tasks and resources is defined by the trade-off of the task-oriented and resource-oriented matching degree.The two-side comprehensive matching degrees are dynamically calculated for each task group and the resources to improve the matching quality.The experimental results show that the proposed method can effectively promoting the matching quality and significantly reduce the response delay compared with the existing methods.

Key words: wide-area collaborative scheduling, resource matching, bidirectional matching, wide-area distributed computing environment

中图分类号: 

No Suggested Reading articles found!