一种基于深度学习的机械臂分拣方法

doi:10.11959/j.issn.2096-6652.202029

智能科学与技术学报 ›› 2020, Vol. 2 ›› Issue (3): 268-274.doi: 10.11959/j.issn.2096-6652.202029

一种基于深度学习的机械臂分拣方法

田思佳¹(),顾强²,胡蓉¹,李锐戈¹,何顶新¹

¹ 华中科技大学，湖北武汉 430074
² 武汉精锋微控科技有限公司，湖北武汉 430000

修回日期:2020-09-04 出版日期:2020-09-20 发布日期:2020-10-20
作者简介:田思佳（1994- ），女，华中科技大学硕士生，主要研究方向为机器人与人工智能|顾强（1987- ），男，博士，武汉精锋微控科技有限公司总经理，主要研究方向为运动控制|胡蓉（1996- ），女，华中科技大学硕士生，主要研究方向为机器人与嵌入式运动控制|李锐戈（1994- ），男，华中科技大学硕士生，主要研究方向为软硬件协同设计|何顶新（1966- ），男，华中科技大学教授，主要研究方向为计算机控制技术、嵌入式系统、机器人控制技术等
基金资助:
国家自然科学基金资助项目(61672244)

A robot sorting method based on deep learning

Sijia TIAN¹(),Qiang GU²,Rong HU¹,Ruige LI¹,Dingxin HE¹

¹ Huazhong University of Science and Technology,Wuhan 430074,China
² Wuhan PS-Micro Technology Co.,Ltd,Wuhan 430000,China

Revised:2020-09-04 Online:2020-09-20 Published:2020-10-20
Supported by:
The National Natural Science Foundation of China(61672244)

摘要/Abstract

摘要：

针对分拣过程中视觉系统识别复杂物体时速度慢、对环境变化适应性不足的问题，提出一种基于轻量型卷积神经网络的机械臂快速分拣方法。该方法首先使用基于轻量型卷积神经网络的MobileNet-SSD算法对图像中的目标物体进行检测，获取目标类别和位置信息；然后根据检测输出结果对图像进行预处理和边缘检测，最终得到校正后的定位结果。在PROBOT Anno机械臂平台上进行分拣实验，实验结果表明，相比于传统的图像处理方法，提出的方法能对复杂目标物体实现快速的检测和定位，对于目标形态和环境的多样性来说具有更好的鲁棒性。

关键词: 机械臂分拣, 深度学习, 目标检测, 机器视觉

Abstract:

A fast robot sorting method based on lightweight convolutional neural network was proposed to improve the recognition speed and environmental adaptability,especially for sorting complex objects.Firstly,the MobileNet-SSD algorithm was used to detect and classify the objects based on lightweight convolutional neural network.Secondly,image preprocessing and edge extraction were used to revise the object locations according to the above object detection results.The sorting experiments on PROBOT Anno robot arm show that the proposed method can achieve fast detection and location for complex objects.Compared with traditional image processing methods,the proposed method is robust to the diversity of target morphology and environment.

Key words: robot sorting, deep learning, object detection, machine vision

中图分类号:

TP242

田思佳, 顾强, 胡蓉, 等. 一种基于深度学习的机械臂分拣方法[J]. 智能科学与技术学报, 2020, 2(3): 268-274.

Sijia TIAN, Qiang GU, Rong HU, et al. A robot sorting method based on deep learning[J]. Chinese Journal of Intelligent Science and Technology, 2020, 2(3): 268-274.

图/表 11

图1

图2

图3

图4

图5

图6

图7

图8

表1

图9

表2

参考文献 11

[1]	LI C Y , MA Y B , WANG S Y ,et al. Novel industrial robot sorting technology based on machine vision[C]// International Conference on Modelling,Identification and Control. Piscataway:IEEE Press, 2017: 902-907.
[2]	HAZRAT ALI M , AIZAT K , YERHAN K ,et al. Vision-based robot manipulator for industrial applications[J]. Procedia Computer Science, 2018,133: 205-212.
[3]	WANG J W , DOU H Z , ZHENG S K ,et al. Target recognition based on machine vision for industrial sorting robot[J]. Journal of Robotics,Networking and Artificial Life, 2015,2(2): 100-102.
[4]	WANG S Y , LIN H , GAI R L ,et al. An application of vision technology on intelligent sorting system by delta robot[C]// IEEE International Conference on E-health Networking. Piscataway:IEEE Press, 2017.
[5]	HINTON G E , SALAKHUTDINOV R R . Reducing the dimensionality of data with neural networks[J]. Science, 2006,313(5786): 504-507.
[6]	杜学丹, 蔡莹皓, 鲁涛 ,等. 一种基于深度学习的机械臂抓取方法[J]. 机器人, 2017,39(6): 820-828,837.
	DU X D , CAI Y H , LU T ,et al. A robotic grasping method based on deep learning[J]. Robot, 2017,39(6): 820-828,837.
[7]	CHEN Z H , ZOU H B , WANG Y B ,et al. A vision-based robotic grasping system using deep learning for garbage sorting[C]// 2017 36th Chinese Control Conference. Piscataway:IEEE Press, 2017： 11223-11226
[8]	KUMAR R , KUMAR S , LAL S ,et al. Object detection and recognition for a pick and place robot[C]// Asia-pacific World Congress on Computer Science ＆ Engineering. Piscataway:IEEE Press, 2014: 1-7.
[9]	LIU W , ANGUELOV D , ERHAN D ,et al. SSD:single shot MultiBox detector[J]. European Conference on Computer Vision, 2016: 21-37.
[10]	LI Z M , PENG C , YU G ,et al. Light-head R-CNN:in defense of two-stage object detector[J]. arXiv preprint, 2017,arXiv:1711.07264.
[11]	HOWARD A G , ZHU M L , CHEN B ,et al. MobileNets:efficient convolutional neural networks for mobile vision applications[J]. arXiv preprint, 2017,arXiv:1704.04861.

类别	本文方法			基于Faster R-CNN的方法
类别	检测时间/s	正确检测个数/个	检测准确率	检测时间/s	正确检测个数/个	检测准确率
长颈鹿	0.078	293	97.7%	3.734	300	100%
鸭子	0.080	300	100%	3.721	300	100%
鹦鹉	0.082	290	96.7%	3.738	299	99.7%

类别	分拣实验次数/次	成功分拣次数/次	分拣成功率
长颈鹿	100	98	98%
鸭子	100	100	100%
鹦鹉	100	96	96%

[1]	黄哲, 王永才, 李德英. 3D目标检测方法研究综述[J]. 智能科学与技术学报, 2023, 5(1): 7-31.
[2]	顾宙瑜, 於跃成, 者甜甜. Rapider-YOLOX：高效的轻量级目标检测网络[J]. 智能科学与技术学报, 2023, 5(1): 92-103.
[3]	卢经纬, 程相, 王飞跃. 求解微分方程的人工智能与深度学习方法：现状及展望[J]. 智能科学与技术学报, 2022, 4(4): 461-476.
[4]	张俊, 许沛东, 陈思远, 高天露, 戴宇欣, 张科, 赵杭, 高杰迈, 白昱阳, 李金星, 张浩然, 李湘, 陈玖香. 物理-数据-知识混合驱动的人机混合增强智能系统管控方法[J]. 智能科学与技术学报, 2022, 4(4): 571-583.
[5]	陈妍, 罗雪琴, 梁伟, 谢永芳. 基于情感信息融合注意力机制的抑郁症识别[J]. 智能科学与技术学报, 2022, 4(4): 600-609.
[6]	栗仁武, 张凌霄, 高林, 李淳芃, 蒋浩. 基于点云的类级别物体姿态估计[J]. 智能科学与技术学报, 2022, 4(2): 246-254.
[7]	李琳辉, 周彬, 任威威, 连静. 行人轨迹预测方法综述[J]. 智能科学与技术学报, 2021, 3(4): 399-411.
[8]	李颖, 陈龙, 黄钊宏, 孙杨, 蔡国榕. 基于多尺度卷积神经网络特征融合的植株叶片检测技术[J]. 智能科学与技术学报, 2021, 3(3): 304-311.
[9]	田庆, 胡蓉, 李佐勇, 蔡远征, 余兆钗. 基于SE-YOLOv5s的绝缘子检测[J]. 智能科学与技术学报, 2021, 3(3): 312-321.
[10]	刘文, 胡琨林, 李岩, 刘钊. 移动目标轨迹预测方法研究综述[J]. 智能科学与技术学报, 2021, 3(2): 149-160.
[11]	张阳, 胡月, 辛东嵘. 一种考虑时空关联的深度学习短时交通流预测方法[J]. 智能科学与技术学报, 2021, 3(2): 172-178.
[12]	刘栋军, 王宇涵, 凌文芬, 彭勇, 孔万增. 基于脑机协同智能的情绪识别[J]. 智能科学与技术学报, 2021, 3(1): 65-75.
[13]	赵亮, 谢志峰, 张坤鹏, 郑玉卿, 付园坤. 无线网络信号传输建模：一种区间二型模糊集成深度学习方法[J]. 智能科学与技术学报, 2020, 2(4): 401-411.
[14]	王飞跃,曹东璞,魏庆来. 强化学习：迈向知行合一的智能机制与算法[J]. 智能科学与技术学报, 2020, 2(2): 101-106.
[15]	袁小锋,王雅琳,阳春华,桂卫华. 深度学习在流程工业过程数据建模中的应用[J]. 智能科学与技术学报, 2020, 2(2): 107-115.

一种基于深度学习的机械臂分拣方法

A robot sorting method based on deep learning

在线阅读

PDF下载

可视化

摘要/Abstract

引用本文

使用本文

图/表 11

参考文献 11

相关文章 15

Metrics

推荐阅读 0