中国是一个发展中的农业大国，农业问题一直是关系到中国社会经济发展的根本问题，而农业科技是目前我国农业增长最主要的推动力。在以后的农业发展中，广泛应用农业机器人，以技术替代资源，提高资源利用率和农业产出率，从而提高经济效益，将是我国现代农业发展的必然趋势。本系统旨在设计出一套结合视觉和机械臂的水果自主抓取系统，解决农业机器人在实际应用中的抓取任务。本系统利用Faster R-CNN的方法定位水果的位置并检测水果的类型，神经网络框架如图一所示，训练集300张，训练样本如图二所示，测试集60张，测试样本如图三所示。然后结合RGB-D相机的深度图像，得到被检测物的三维坐标。最后将被检测物的三维坐标传输给机械臂，解算出优化过后的轨迹，并进行水果抓取，如图四所示。

图一 神经网络结构

图二 训练图片样例

图三 测试结果样例

图四 水果抓取

视频演示：[基于深度学习的水果抓取]