基于硬件仿真系统的边缘计算人工智能视觉芯片设计验证

doi:10.11959/j.issn.2096-3750.2022.00250

物联网学报 ›› 2022, Vol. 6 ›› Issue (1): 20-28.doi: 10.11959/j.issn.2096-3750.2022.00250

所属专题：边缘计算

• 专题：物联终端与芯片 • 上一篇下一篇

基于硬件仿真系统的边缘计算人工智能视觉芯片设计验证

徐宣哲¹^,², 宁珂¹^,², 郑学敏¹^,², 赵明心¹^,², 徐萌萌¹^,², 吴南健¹^,², 刘力源¹^,²

¹ 中国科学院半导体研究所半导体超晶格国家重点实验室，北京 100083
² 中国科学院大学材料与光电研究中心，北京 100049

修回日期:2022-03-01 出版日期:2022-03-30 发布日期:2022-03-01
作者简介:徐宣哲（1999− ），男，中国科学院半导体研究所半导体超晶格国家重点实验室硕士生，主要研究方向为低功耗视觉芯片的硬件算法验证等
宁珂（1994− ），男，中国科学院半导体研究所半导体超晶格国家重点实验室博士生，主要研究方向为低功耗视觉芯片设计等
郑学敏（1995− ），男，中国科学院半导体研究所半导体超晶格国家重点实验室博士生，主要研究方向为低功耗视觉芯片设计等
赵明心（1992− ），男，中国科学院半导体研究所半导体超晶格国家重点实验室博士生，主要研究方向为卷积神经网络的量化、稀疏化、加速以及软硬件协同设计等
徐萌萌（1997− ），女，中国科学院半导体研究所半导体超晶格国家重点实验室博士生，主要研究方向为边缘计算型视觉芯片的网络模型压缩等
吴南健（1961− ），男，博士，中国科学院半导体研究所半导体超晶格国家重点实验室研究员，主要研究方向为大规模数模混合集成电路和视觉芯片等
刘力源（1982− ），男，博士，中国科学院半导体研究所半导体超晶格国家重点实验室研究员，主要研究方向为高速图像传感器、太赫兹图像传感器、视觉芯片以及数模混合信号集成电路设计等
基金资助:
国家重点研发计划(2019YFB2204300);国家自然科学基金资助项目(U20A20205);国家自然科学基金资助项目(61874107);中国科学院青年创新促进会项目(2021109)

Verification of an artificial intelligence vision chip design for edge computing based on hardware simulation system

Xuanzhe XU¹^,², Ke NING¹^,², Xuemin ZHENG¹^,², Mingxin ZHAO¹^,², Mengmeng XU¹^,², Nanjian WU¹^,², Liyuan LIU¹^,²

¹ The State Key Laboratory of Superlattices and Microstructures, Institute of Semiconductors, Chinese Academy of Sciences, Beijing 100083, China
² Center of Materials Science and Optoelectronics Engineering, University of Chinese Academy of Sciences, Beijing 100049, China

Revised:2022-03-01 Online:2022-03-30 Published:2022-03-01
Supported by:
The National Key Research and Development Program of China(2019YFB2204300);The National Natural Science Foundation of China(U20A20205);The National Natural Science Foundation of China(61874107);The Program of Youth Innovation Promotion Association, Chinese Academy of Sciences(2021109)

摘要/Abstract

摘要：

基于卷积神经网络（CNN, convolutional neural network）的视觉深度学习算法的兴起推动了人工智能视觉芯片设计研究的快速发展，而芯片的设计验证工作是人工智能视觉芯片研发的瓶颈。介绍了一种基于硬件仿真系统的人工智能视觉芯片软硬件验证方法，以边缘计算人工智能视觉芯片设计为例，在硬件仿真系统ZeBu上完成了芯片运行的典型深度学习网络MobileNet的仿真验证工作。结果表明，在硬件芯片架构上实现的网络模型在保证精确度的同时，在200 MHz频率时钟下单帧检测时间只需要18.51 ms，与软件平台仿真相比，仿真速度提高了7倍。

关键词: 人工智能视觉芯片, 深度学习, MobileNet, ZeBu

Abstract:

The rise of visual deep learning algorithms based on convolutional neural network (CNN) has promoted the rapid development of the artificial intelligence (AI) vision chip design research.The step of chip verification is a bottleneck in the development of AI vision chips.A software and hardware verification method for AI vision chip design based on hardware simulation system was introduced.Taking AI vision chip design for edge computing as an example, the chip was run on the hardware simulation system (ZeBu) and the simulation verification work of typical deep learning network MobileNet was completed.The results show that the network model implemented on the hardware chip architecture keeps accuracy while the detection time of a single frame is only 18.51 ms under a 200 MHz clock frequency.The spread of the hardware simulation is 7 times faster than than of the software simulation.

Key words: AI vision chip, deep learning, MobileNet, ZeBu

中图分类号:

TN47

徐宣哲, 宁珂, 郑学敏, 赵明心, 徐萌萌, 吴南健, 刘力源. 基于硬件仿真系统的边缘计算人工智能视觉芯片设计验证[J]. 物联网学报, 2022, 6(1): 20-28.

Xuanzhe XU, Ke NING, Xuemin ZHENG, Mingxin ZHAO, Mengmeng XU, Nanjian WU, Liyuan LIU. Verification of an artificial intelligence vision chip design for edge computing based on hardware simulation system[J]. Chinese Journal on Internet of Things, 2022, 6(1): 20-28.

图/表 11

图1

图2

表1

表2

图3

图4

图5

图6

图7

图8

表3

参考文献 25

[1]	KRIZHEVSK Y A , SUTSKEVER I , HINTON G E . ImageNet classification with deep convolutional neural networks[J]. Communication softhe ACM, 2017,60(6): 84-90.
[2]	SZEGED Y C , LIU W , JIA Y Q ,et al. Going deeper with convolutions[C]// Proceedings of 2015 IEEE Conference on Computer Vision and Pattern Recognition. Piscataway:IEEE Press, 2015: 1-9.
[3]	DONG X D , XU Y P , XU Z J ,et al. A static hand gesture recognition model based on the improved centroid watershed algorithm and a dual-channel CNN[C]// Proceedings of 2018 24th International Conference on Automation and Computing (ICAC). Piscataway:IEEEPress, 2018: 1-6.
[4]	REN S Q , HE K M , GIRSHICK R ,et al. Faster R-CNN:towards real-time object detection with region proposal networks[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2017,39(6): 1137-1149.
[5]	SHIN H C , ROTH H R , GAO M C ,et al. Deep convolutional neural networks for computer-aided detection:CNN architectures,dataset characteristics and transfer learning[J]. IEEE Transactions on Medical Imaging, 2016,35(5): 1285-1298.
[6]	LIN T Y , ROYCHOWDHURY A , MAJI S . Bilinear CNN models for fine-grained visual recognition[C]// Proceedings of 2015 IEEE International Conference on Computer Vision. Piscataway:IEEE Press, 2015: 1449-1457.
[7]	WE IH , ZHU M , WANG B ,et al. Two-level progressive attention convolutional network for fine-grained image recognition[J]. IEEE Access, 2020(8): 104985-104995.
[8]	ZHANG Y , YANG S Y , LI H B ,et al. Shadow tracking of moving target based on CNN for video SAR system[C]// Proceedings of IGARSS 2018 - 2018 IEEE International Geoscience and Remote Sensing Symposium. Piscataway:IEEE Press, 2018: 4399-4402.
[9]	WANG M , ABDELFATTAH S , MOUSTAFA N ,et al. Deep Gaussian mixture-hidden Markov model for classification of EEG signals[J]. IEEE Transactions on Emerging Topics in Computational Intelligence, 2018,2(4): 278-287.
[10]	CHEN L , ZHANG H W , XIAO J ,et al. SCA-CNN:spatial and channel-wise attention in convolutional networks for image captioning[C]// Proceedings of 2017 IEEE Conference on Computer Vision and Pattern Recognition. Piscataway:IEEE Press, 2017: 6298-6306.
[11]	ZHANG X Y , ZHOU X Y , LIN M X ,et al. ShuffleNet:an extremely efficient convolutional neural network for mobile devices[C]// Proceedings of 2018 IEEE/CVFConference on Computer Vision and Pattern Recognition. Piscataway:IEEE Press, 2018: 6848-6856.
[12]	SUDHA S , JAYANTHI K B , RAJASEKARAN C ,et al. Segmentation of RoI in medical images using CNN-A comparative study[C]// Proceedings of TENCON 2019 - 2019 IEEE Region 10 Conference. Piscataway:IEEE Press, 2019: 767-771.
[13]	SHARMA A K , FOROOSH H . Slim-CNN:alight-weight CNN for face attribute prediction[C]// Proceedings of 2020 15th IEEE International Conference on Automatic Face and Gesture Recognition. Piscataway:IEEE Press, 2020: 329-335.
[14]	HOWARD A G , ZHU M L , CHEN B ,et al. MobileNets:efficient convolutional neural networks for mobile vision applications[EB]. 2017.
[15]	SHI C , YANG J , HAN Y ,et al. A 1000 fps vision chip based on a dynamically reconfigurable hybrid architecture comprising a PE array processor and self-organizing map neural network[J]. IEEE Journal of Solid-State Circuits, 2014,49(9): 2067-2082.
[16]	LIHL , ZHANGZ X , YANG J ,et al. A novel vision chip architecture for image recognition based on convolutional neural network[C]// Proceedings of 2015 IEEE 11th International Conference on ASIC. Piscataway:IEEE Press, 2015: 1-4.
[17]	VINAY B K , HARIHARM , KILLEDAR A . The FPGA based emulation of complex SoC for ADAS market on ZeBu-Server[C]// Proceedings of 2014 International Conference on Advances in Electronics Computers and Communications. Piscataway:IEEE Press, 2014: 1-4.
[18]	ENDC. Synopsys推出业界最快的仿真系统[EB]. 2014.
	ENDC. Synopsys Iaunches the industry’s fastest simulation system[EB]. 2014.
[19]	WANG S H , JIANG Y Y , HOUXX ,et al. Cerebral micro-bleed detection based on the convolution neural network with rank based average pooling[J]. IEEE Access, 2017(5): 16576-16583.
[20]	BASHA S H S , DUBEY S R , PULABAIGARI V ,et al. Impact of fully connected layers on performance of convolutional neural networks for image classification[J]. Neurocomputing, 2020,378: 112-119.
[21]	ZEILER M D , FERGUS R . Visualizing and understanding convolutional networks[C]// Computer Vision – ECCV 2014, 2014: 818-833.
[22]	SIMONYANK ZISSERMAN A . Very deep convolutional networks for large-scale image recognition[EB]. 2014.
[23]	SZEGEDY C , VANHOUCKEV , IOFFE S ,et al. Rethinking the inception architecture for computer vision[C]// Proceedings of 2016 IEEE Conference on Computer Vision and Pattern Recognition. Piscataway:IEEE Press, 2016: 2818-2826.
[24]	HE K M , ZHANG X Y , REN S Q ,et al. Deep residual learning for image recognition[C]// Proceedings of 2016 IEEE Conference on Computer Vision and Pattern Recognition. Piscataway:IEEE Press, 2016: 770-778.
[25]	ZOPH B , VASUDEVAN V , SHLENS J ,et al. Learning transferable architectures for scalable image recognition[C]// Proceedings of 2018 IEEE/CVFConference on Computer Vision and Pattern Recognition. Piscataway:IEEE Press, 2018: 8697-8710.

层数	类型	输出特征图大小（尺寸）	卷积核大小（尺寸）
1	4-D卷积层	0.438 MB（112px×128 px×32 px）	3.375 KB（3×3×3×32）
2	深度卷积层	0.438 MB（112 px×128 px×32 px）	1.125 KB（3×3×32）
3	点式卷积层	0.875 MB（112 px×128 px×64 px）	8 KB（1×1×32×64）
4	深度卷积层	0.219MB（56 px×64 px×64 px）	2.25 KB（3×3×64）
5	点式卷积层	0.438 MB（56 px×64 px×128 px）	32 KB（1×1×64×128）
6	深度卷积层	0.438 MB（56 px×64 px×128 px）	4.5 KB（3×3×128）
7	点式卷积层	0.438 MB（56 px×64 px×128 px）	64 KB（1×1×128×128）
8	深度卷积层	0.109 MB（28 px×32 px×128 px）	4.5 kB（3×3×128）
9	点式卷积层	0.219 MB（28 px×32 px×256 px）	128 KB（1×1×128×256）
10	深度卷积层	0.219 MB（28 px×32 px×256 px）	9 KB（3×3×256）
11	点式卷积层	0.219 MB（28 px×32 px×256 px）	256 KB（1×1×256×256）
12	深度卷积层	0.055 MB（14 px×16 px×256 px）	9 KB（3×3×256）
13	点式卷积层	0.109 MB（14 px×16 px×512 px）	512 KB（1×1×256×512）
14～23	深度卷积层点式卷积层	0.109 MB（14 px×16 px×512 px）0.109 MB（14 px×16 px×512 px）	18 KB（3×3×512）1 024 KB（1×1×512×512）
24	深度卷积层	0.027 MB（7 px×8 px×512 px）	18 KB（3×3×512）
25	点式卷积层	0.055 MB（7 px×8 px×1 024 px）	2 048 KB（1×1×512×1024）
26	深度卷积层	0.055 MB（7 px×8 px×1 024 px）	36 KB（3×3×1024）
27	点式卷积层	0.055 MB（7 px×8 px×1 024 px）	4 096 KB（1×1×1024×1024）
28	平均池化层	0.001 MB（1 px×1 px×1 024 px）	-
29	全连接层	0.001 MB（1 px×1 px×1 024 px）	4 096 KB（1×1×1024×1024）

序号	网络名称	参数量/MB
1	AlexNet^[1]	60
2	ZFNet^[21]	62.3
3	VGG16^[22]	138.3
4	VGG19^[22]	143.6
5	Inception V3^[23]	23.8
6	ResNet50^[24]	25.5
7	MobileNet V1^[14]	16
8	NASNetMobile^[25]	5
9	轻量化MobileNet V1（本文）	2.9

算法类型	单幅片上运行时钟周期数	单幅EDA运行时间/min	单幅ZeBu运行时间/min
图像分类	3 702 028	114.20	15.73
人脸检测	12 241 338	377.65	51.85
目标追踪	4 996 608	152.85	21.23
TOF成像	4 560 400	140.65	19.33

基于硬件仿真系统的边缘计算人工智能视觉芯片设计验证

Verification of an artificial intelligence vision chip design for edge computing based on hardware simulation system

在线阅读

PDF下载

可视化

摘要/Abstract

引用本文

使用本文

图/表 11

参考文献 25

相关文章 10

Metrics

推荐阅读 0

[1]	张志飞, 刘峰, 葛祎阳, 李烁, 张煜, 熊轲. 一种基于深度可分离卷积和注意力机制的入侵检测方法[J]. 物联网学报, 2023, 7(1): 49-59.
[2]	蒋锐, 孙刘婷, 王小明, 李大鹏, 徐友云. 基于AE和Transformer的运动想象脑电信号分类研究[J]. 物联网学报, 2023, 7(1): 118-128.
[3]	张彪, 汪西明, 徐逸凡, 李文, 韩昊, 刘松仪, 陈学强. 基于多智能体深度强化学习的多域协同抗干扰方法研究[J]. 物联网学报, 2022, 6(4): 104-116.
[4]	李贤, 毕宿志, 曾泓儒, 林彬, 林晓辉. 基于智能化用户协作的边缘计算任务卸载与资源分配优化[J]. 物联网学报, 2022, 6(4): 41-52.
[5]	罗丹, 徐茹枝, 关志涛. 物联网环境中基于深度学习的差分隐私预算优化方法[J]. 物联网学报, 2022, 6(2): 65-76.
[6]	李国权, 徐永海, 林金朝, 黄正文. 基于Res-DNN的端到端MIMO系统信号检测算法[J]. 物联网学报, 2022, 6(1): 65-72.
[7]	谈玲, 荣杉山, 夏景明, SajibSarker, 马雯杰. 基于IR-VGG的多分类皮肤病实时诊断[J]. 物联网学报, 2021, 5(3): 115-125.
[8]	林椿珉, 曾烈康, 陈旭. 边缘智能驱动的高能效无人机自主导航算法研究[J]. 物联网学报, 2021, 5(2): 87-96.
[9]	陈慕涵,郭佳佳,李潇,金石. 基于深度学习的大规模MIMO信道状态信息反馈[J]. 物联网学报, 2020, 4(1): 33-44.
[10]	廖勇,姚海梅,花远肖. 一种基于深度学习的物联网信道状态信息获取算法[J]. 物联网学报, 2019, 3(1): 8-13.