在来来往往的道路交通中，道路条件比较复杂，为保证道路结构的完整性，延长道路大修的间隔时间，往往需要对道路裂缝进行检测和修复。裂缝密封是延长路面使用寿命的一项重要措施，而传统的道路裂缝密封作业（如图1所示）是靠人工进行，工人常常暴露在恶劣的天气和超速行驶的车辆等危险环境中，而且也是耗时、乏味的。对于一个典型的道路裂缝密封操作任务，每天修复1.5-3km，且密封工人需要暴露在移动交通的相邻车道，这不仅耗时、而且影响正常交通和工人的生命安全。

       针对上述存在的问题，本项目尝试性地研制了一种新型的可用于道路裂缝密封的机械人系统（如图2所示），该系统由一六自由度机械手、立体摄像头、空气泵、胶筒（用于存储裂缝密封胶）和一笔记本电脑组成，其中六自由度机械手安装有一用于裂缝密封的末端执行器[1]。该系统可以对不平坦路面裂缝进行识别和密封。在裂缝密封前，我们采用基于深度学习的监督方法对裂缝进行检测，获取裂缝的图像信息，并与深度信息融合，获得裂缝的准确位置信息。最后，通过在室内构建裂缝场景试验（如图3所示），验证了将裂缝密封末端执行器应用于不平坦路面裂缝密封的可行性。

       在进行道路裂缝密封前，对道路裂缝进行检测是一项非常重要的工作。而在本项目中采用的道路裂缝识别算法，是团队前期工作[2]的一个实际应用。在[2]中，提出了一种融合图像处理方法和深度学习方法对道路裂缝进行检测的算法。该算法先对图像进行分块，然后利用卷积神经网络对每个小块进行结构预测，综合图片中所有小块的结果可以得到全图的裂缝分割结果。提出的CNN结构和算法的输入输出如图4所示。

       此外，实验室团队对道路裂缝检测算法进行了进一步研究，提出了一种基于集成卷积神经网络的自动化道路裂缝检测和测量算法[3]。该算法的系统框架如图5所示，先对图像进行分块，然后对每个卷积神经网络结构预测的概率图进行求和，再进行平均值处理得到预测结果。最后对预测裂缝图片进行分割和骨骼化提取，提取出裂缝的骨骼架构，并计算出裂缝的宽度和长度。该方法实现了道路裂缝的自动化检测和测量，减轻了人为检测的负担和错误率。

图1 传统人工的道路裂缝密封操作

图2　用于道路裂缝密封的机器人系统

图3　对横向裂缝和纵向裂纹进行密封的室内试验场景

图4 基于CNN的道路裂缝检测

图5 基于集成网络的道路裂缝检测和测量的系统框架

       实验室裂缝检测相关的论文和专利：

论文：

[1] Guijie Zhu, Zhun Fan*, Wenzhao Chen, Yugen You, Sibo Huang, Weixiang Liang, Runzhan Fu, Jiaming Xin, Jingming Chen, Furong Deng, and Youzhao Hou, (2019,July). Design and Implementation of a Manipulator System for Roadway Crack Sealing. CYBER 2019. (Accepted) Download PDF

[2] Fan Z, Wu Y, Lu J, Li W. Automatic pavement crack detection based on structured prediction with the convolutional neural network[J]. arXiv preprint arXiv:1802.02208, 2018.Download PDF

[3] Fan Z, Li C, Chen Y, Di Mascio P, Chen X, Zhu G, Loprencipe G. Ensemble of Deep Convolutional Neural Networks for Automatic Pavement Crack Detection and Measurement[J]. Coatings, 2020, 10(2): 152. Download PDF

专利：

[1] 一种路桥裂缝检测与修复一体化机器人. 发明专利，申请号：201910517472.7

[2] 一种基于智能终端的裂缝检测方法. 发明专利，申请号：201811653343.2

[3] 一种基于深度卷积神经网络的裂缝图像分割方法. 发明专利，申请号：201810676243.5

软件著作权：

[1] 裂缝检测辅助系统V1.0，登记号：2019SR1105405