汕头大学主页|汕头大学工学院|English Vision
  联系信息

邮件:zhun_fan@126.com

地址:广东省汕头市大学路243号汕头大学科学楼

邮编:515063

 
科研成果
基于深度学习的水果抓取
 
发布时间:2018/5/31 23:02:52

      中国是一个发展中的农业大国,农业问题一直是关系到中国社会经济发展的根本问题,而农业科技是目前我国农业增长最主要的推动力。在以后的农业发展中,广泛应用农业机器人,以技术替代资源,提高资源利用率和农业产出率,从而提高经济效益,将是我国现代农业发展的必然趋势。本系统旨在设计出一套结合视觉和机械臂的水果自主抓取系统,解决农业机器人在实际应用中的抓取任务。本系统利用Faster R-CNN的方法定位水果的位置并检测水果的类型,神经网络框架如图一所示,训练集300张,训练样本如图二所示,测试集60张,测试样本如图三所示。然后结合RGB-D相机的深度图像,得到被检测物的三维坐标。最后将被检测物的三维坐标传输给机械臂,解算出优化过后的轨迹,并进行水果抓取,如图四所示。

图一 神经网络结构

图二 训练图片样例

图三 测试结果样例

图四 水果抓取

视频演示:[基于深度学习的水果抓取]

版权所有:广东省数字信号与图像处理技术重点实验室 | 学院地址:广东省汕头市大学路243号汕头大学科学楼4楼
copyright © 2018 imagelab.stu.edu.cn all rights reserved.