前言

智能人机协作机器人能自主适应复杂动态环境，并通过与作业环境/人/协作机器人自然交互，在共同工作空间通过近距离互动完成更加复杂的作业任务，因此受到了广泛的重视。根据BlueWeave公司的市场分析报告，2021年全球协作机器人市场达到7.6亿美元，到2028年，全球协作机器人市场增长到39.9亿美元。如何高效可靠地获取和理解机器人与作业环境信息并有效交互是智能机器人实现合理的人机交互和智能操控的迫切需求。

机器人感知和智能是制约机器人技术发展与应用的核心瓶颈，未知环境中的智能操作与自主作业很大程度上依靠对环境的认识程度。虽然近年来作为机器人重要手段的视觉感知获得了快速的发展，但机器人的整体感知水平和智能化程度还有待进一步提升。此外，人工智能的迅速发展正深刻地改变着机器人视觉等信号的处理方式，国务院印发的《新一代人工智能发展规划》指出：人工智能是引领未来的战略性技术，世界主要发达国家把发展人工智能作为提升国家竞争力、维护国家安全的重大战略。图像及视频等视觉处理技术作为人工智能下的一大技术领域，不仅可用于复杂、危险场景下的视觉感知获取，近年来还被广泛应用于防控预警、抢险救灾和军事领域，得到了世界各国的广泛重视。

本书旨在深入介绍基于深度学习的机器人智能视觉感知技术，为广大工程技术人员学习视觉感知方面的应用和最新理论方法奠定基础，同时也可作为高年级本科生、研究生或博士生的参考书。本书主要内容包括机器人智能视觉感知系统概述、深度学习技术概述、自然场景下文本检测与识别、视觉目标检测、多目标跟踪、图像语义分割等。全书从方法到实际应用，从算法分析到模型搭建等多角度介绍深度学习技术在智能视觉感知方面的研究，并深度结合了当前国内外最新研究热点，为业内人士从事相关研究与应用工作提供重要参考。

本书基于团队多项机器人感知与控制技术相关的国家级项目（2021YFC1910402，NSFC.62073129、NSFC.U21A20490、NSFC.61673163、湖南省自然科学基金-杰出青年基金项目2022JJ10020国家重点研发计划）、湖南省科技计划项目（2020GK2025）、深圳科技计划项目(2021Szvup035)的研究成果，聚焦机器人视觉感知前沿和国家战略需求，从应用背景、需求分析、原理方法、算法开发、模型搭建、实验验证、对比分析等方面展开论述。全书共分为7章：第1章概述了机器人视觉感知系统的发展和挑战；第2章对机器人智能视觉感知系统的组成、主要实现步骤和典型应用进行了阐述；第3章对机器人视觉感知系统广泛应用的深度学习技术进行了概述；第4章简述了自然场景下基于图像分割的文本检测和基于序列的场景文本识别技术；第5章阐述了视觉目标检测技术，重点描述了基于R-FCN的目标检测和基于Mask RCNN的目标检测方法；第6章简述了多目标跟踪技术，重点阐述了基于序列特征的多目标跟踪方法和基于上下文图模型的多目标跟踪方法；第7章简述了图像分割方法，重点描述了基于自适应特征选择网络的遥感影像语义分割方法和基于SU-SWA的区域分割方法。

在本书的核心内容准备过程中，团队的梁桥康、谭艾琳、郭东妮负责了机器人视觉感知系统和深度学习技术概述的相关内容；朱为、葛俏、彭建忠负责了喷码识别系统的相关内容；项韶、金晶负责了自然场景下文本检测与识别的相关内容；梅丽、伍万能负责了视觉目标检测的相关内容；谭旭、伍万能负责了多目标跟踪的相关内容；项韶、梁桥康负责了机器人视觉感知系统的典型应用的相关内容；南洋、汤鹏、项韶、秦海负责了图像语义分割的相关内容；梁桥康、邹坤霖、邓淞允、谢冰冰等为对比实验和网络框架等做出了贡献；梁桥康、秦海负责统稿。

本书适合机器人视觉感知技术的初学者或爱好者阅读，也非常适合机器人感知、深度学习、人工智能等相关从业者参考。希望读者在阅读完本书后能根据实际的应用场景需求搭建对应的智能机器人视觉感知系统，为提升我国机器人核心感知技术创新水平贡献自己的力量。

本书受到国家自然科学基金项目（NSFC.62073129、NSFC.U21A20490）、国家重点研发计划（2021YFC1910402）和湖南省自然科学基金-杰出青年基金项目（2022JJ10020）的资助，特此感谢。最后特别感谢机械工业出版社编辑们对本书出版的大力支持。

作者

湖南大学机器人视觉感知与控制技术国家工程研究中心

2023年1月