基于领域知识的Docker镜像自动构建方法

doi:10.11959/j.issn.2096-0271.2021005

大数据 ›› 2021, Vol. 7 ›› Issue (1): 64-75.doi: 10.11959/j.issn.2096-0271.2021005

• 专题：数据驱动的软件智能化开发 • 上一篇下一篇

基于领域知识的Docker镜像自动构建方法

陈伟¹^,², 叶宏杰¹^,², 周家宏¹^,², 魏峻¹^,²

¹ 中国科学院大学，北京 100190
² 中国科学院软件研究所，北京 100190

出版日期:2021-01-15 发布日期:2021-01-01
作者简介:陈伟（1980- ），男，博士，中国科学院软件研究所副研究员，中国计算机学会会员，主要研究方向为软件工程、网络分布式计算等。
叶宏杰（1996- ），男，中国科学院软件研究所硕士生，主要研究方向为软件工程
周家宏（1995- ），男，中国科学院软件研究所硕士生，主要研究方向为机器学习、知识图谱等
魏峻（1970- ），男，博士，中国科学院软件研究所研究员、博士生导师，主要研究方向为软件工程、网络分布式计算等
基金资助:
国家自然科学基金资助项目(2016YFB1000800);国家自然科学基金资助项目(61732019)

An approach to automatically building Docker images by using domain knowledge

Wei CHEN¹^,², Hongjie YE¹^,², Jiahong ZHOU¹^,², Jun WEI¹^,²

¹ University of Chinese Academy of Sciences, Beijing 100190, China
² Institute of Software, Chinese Academy of Sciences, Beijing 100190, China

Online:2021-01-15 Published:2021-01-01
Supported by:
The National Key Research and Development Program of China(2016YFB1000800);The National Natural Science Foundation of China(61732019)

摘要/Abstract

摘要：

Dockerfile是构建Docker应用镜像的脚本代码，包含软件系统镜像构建所需的软件包及其依赖的下载、安装和配置的所有指令。编写Dockerfile需要丰富的领域知识，否则编写的Dockerfile容易产生镜像构建错误。针对此问题，提出一种基于领域知识的Docker镜像自动构建方法。该方法通过对大规模Dockerfile的自动解析，分析提取构建Docker镜像所需的软件依赖及安装配置等领域知识；在面向特定软件系统构建镜像时，从已构建的领域知识库中分析推断指定软件的依赖关系及安装操作，生成Dockerfile来构建Docker镜像。实验结果表明，该方法具有利用领域知识推断系统依赖关系和软件包安装方式、生成不同软件Dockerfile的能力。

关键词: Docker, Dockerfile, 知识图谱, 软件包, 系统依赖

Abstract:

A Dockerfile builds a Docker image by specifying how to construct a software system by downloading, installing and configuring software packages and their dependencies. However, manually writing a Dockerfile can be error-prone because system dependency resolution requires a lot of domain knowledge. Therefore, an approach to automating Dockerfile generation based on domain knowledge was proposed. The approach automatically parses Dockerfiles and extracts knowledge of building Docker images and stores the knowledge in a graph database. When generating new Dockerfiles, the system dependencies and their installation operations for the designated software based on the knowledge base were inferred. Experiments indicate that it is viable to automate Dockerfile generation for diversified software by inferring system dependencies and software package installations with the domain knowledge.

Key words: Docker, Dockerfile, knowledge graph, software package, system dependency

中图分类号:

TP311

陈伟, 叶宏杰, 周家宏, 魏峻. 基于领域知识的Docker镜像自动构建方法[J]. 大数据, 2021, 7(1): 64-75.

Wei CHEN, Hongjie YE, Jiahong ZHOU, Jun WEI. An approach to automatically building Docker images by using domain knowledge[J]. Big Data Research, 2021, 7(1): 64-75.

图/表 8

图1

图2

图3

图4

图5

图6

表1

图7

参考文献 12

[1]	EBERT C , GALLARDO G , HERNANTES J ,et al. DevOps[J]. IEEE Software, 2016,33(3): 94-100.
[2]	MERKEL D . Docker: lightweight Linux containers for consistent development and deploymen[J]. Linux Journal, 2014.
[3]	CITO J , SCHERMANN G , WITTERN J E ,et al. An empirical analysis of the Docker container ecosystem on GitHub[C]// 2017 IEEE/ACM 14th International Conference on Mining Software Repositories. Piscataway: IEEE Press, 2017: 323-333.
[4]	HENKEL J , BIRD C , LAHIRI S K ,et al. Learning from, understanding, and supporting DevOps artifacts for Docker[C]// The ACM/IEEE 42nd International Conference on Software Engineering. New York: ACM Press, 2020: 38-49.
[5]	WU Y W , ZHANG Y , WANG T ,et al. Characterizing the occurrence of Dockerfile smells in open-source software: an empirical study[J]. IEEE Access, 2020,8: 34127-34139.
[6]	HORTON E , PARNIN C . Gistable:evaluating the executability of Python code snippets on GitHub[C]// 2018 IEEE International Conference on Software Maintenance and Evolution. Piscataway:IEEE Press, 2018: 217-227.
[7]	HORTON E , PARNIN C . DockerizeMe:automatic inference of environment dependencies for python code snippets[C]// 2019 IEEE/ACM 41st International Conference on Software Engineering. New York: ACM Press, 2019: 328-338.
[8]	MELO L , WIESE I S , AMORIM M D . Using Docker to assist Q＆amp;A forum users[J]. IEEE Transactions on Software Engineering, 2019:1.
[9]	OSORIO M , BUIL-ARANDA C , VARGAS H . DockerPedia: a knowledge graph of Docker images[C]// International Semantic Web Conference (P＆amp;D/Industry/BlueSky). [S.l.:s.n.], 2018.
[10]	HUO D , NABRZYSKI J , VARDEMAN C F . Smart container: an ontology towards conceptualizing Docker[C]// International Semantic Web Conference (Posters ＆amp;Demos). [S.l.:s.n.], 2015.
[11]	LU Z G , XU J W , WU Y W ,et al. An empirical case study on the temporary file smell in Dockerfiles[J]. IEEE Access, 2019,7: 63650-63659.
[12]	HASSAN F , RODRIGUEZ R , WANG X Y . RUDSEA: recommending updates of Dockerfiles via software environment analysis[C]// The 33rd ACM/IEEE International Conference on Automated Software Engineering. New York: ACM Press, 2018: 796-801.

类别	软件包	代表软件包	描述
类别	数量/个	代表软件包	描述
系统软件	20	Tomcat, Nginx, Apache Spark, Apache Storm,	服务器、平台、数据库等
系统软件	20	Redis, etcd	服务器、平台、数据库等
开发工具	26	JDK, Python, Maven, Anaconda, Node.js, NVM, SBT	程序开发工具、开发环境、构建工具等
常用工具	35	pinpoint-agent, BTSync, Dehydrated, Puppet,	提供通用功能的工具和库
常用工具	35	libiconv	提供通用功能的工具和库
应用程序	15	WordPress, Tiny Tiny RSS, Magento2	网络应用、商业应用、视频软件等
其他	4	files and keys	其他不属于上述分类的软件包

[1]	张宇奇, 黄晓雯, 桑基韬. 知识增强策略引导的交互式强化推荐系统[J]. 大数据, 2022, 8(5): 88-105.
[2]	史经业, 李攀. 空天大数据在新型智慧城市建设中的关键技术与应用探索[J]. 大数据, 2022, 8(2): 120-133.
[3]	谭玲, 鄂海红, 匡泽民, 宋美娜, 刘毓, 陈正宇, 谢晓璇, 李峻迪, 范家伟, 王晴川, 康霄阳. 医学知识图谱构建关键技术及研究进展[J]. 大数据, 2021, 7(4): 80-104.
[4]	刘庆霞, 李俊宥, 程龚. 实体摘要系统的解释性评测[J]. 大数据, 2021, 7(3): 15-29.
[5]	申宇铭, 杜剑峰. 时态知识图谱补全的方法及其进展[J]. 大数据, 2021, 7(3): 30-41.
[6]	杜会芳, 王昊奋, 史英慧, 王萌. 知识图谱多跳问答推理研究进展、挑战与展望[J]. 大数据, 2021, 7(3): 60-79.
[7]	胡志磊, 靳小龙, 陈剑赟, 黄冠利. 事件图谱的构建、推理与应用[J]. 大数据, 2021, 7(3): 80-96.
[8]	陈华钧, 张文, 黄志文, 叶橄强, 文博, 张伟. 大规模知识图谱预训练模型及电商应用[J]. 大数据, 2021, 7(3): 97-115.
[9]	陈强, 代仕娅. 基于金融知识图谱的会计欺诈风险识别方法[J]. 大数据, 2021, 7(3): 116-129.
[10]	谢冰, 彭鑫, 尹刚, 李宣东, 魏峻, 孙海龙. 基于大数据的软件智能化开发方法与环境[J]. 大数据, 2021, 7(1): 3-21.
[11]	邹艳珍, 王敏, 谢冰, 林泽琦. 基于大数据的软件项目知识图谱构造及问答方法[J]. 大数据, 2021, 7(1): 22-36.
[12]	张建, 孟祥鑫, 孙海龙, 王旭, 刘旭东. 数据驱动的软件开发者智能协作技术[J]. 大数据, 2021, 7(1): 76-93.
[13]	陈成, 陈跃国, 刘宸, 吕晓彤, 杜小勇. 意图知识图谱的构建与应用[J]. 大数据, 2020, 6(2): 57-68.
[14]	臧根林, 王亚强, 吴庆蓉, 占春丽, 李熠. 智慧城市知识图谱模型与本体构建方法[J]. 大数据, 2020, 6(2): 96-106.
[15]	李望月, 刘瑾, 陈娜. 大数据技术在乡村画像中的应用研究[J]. 大数据, 2020, 6(1): 99-118.

基于领域知识的Docker镜像自动构建方法

An approach to automatically building Docker images by using domain knowledge

在线阅读

PDF下载

可视化

摘要/Abstract

引用本文

使用本文

图/表 8

参考文献 12

相关文章 15

Metrics

推荐阅读 0