第1章 单目立体视觉概述

随着信号处理理论和计算机技术的发展，计算机视觉技术得到了快速发展。计算机视觉就是通过对单幅或多幅图像进行分析、处理、特征提取，从而使计算机具有认知三维世界的能力。这种能力将不仅使机器能感知三维空间中物体的几何形状、空间位置关系、运动状态等信息，并且能对它们进行分析、存储、处理与理解。

立体视觉作为计算机视觉的一个重要组成部分，它仿真生物视觉系统的原理，采用两（多）台摄像机从不同的空间位置，甚至不同的时刻获取同一三维物体的数字图像，通过对图像中的对应同名点进行立体匹配从而获取该三维场景的三维几何信息与深度信息并重建该场景的三维形状与位置。如图1-1所示，立体视觉检测系统一般由以下几个部分组成：摄像机及辅助装置组成的立体视觉传感器、光照系统、控制机构、图像采集卡以及用于图像处理的计算机。工作时，首先通过立体视觉传感器获得被测三维物体的图像，经图像采集卡传送到计算机，对待测图像进行分析、处理，进而提取出感兴趣的有关参数。整个测量系统的核心任务为图像的采集、分析、处理、测量结果的输出。其中被测三维物体图像的获取是整个测量过程的基础，精确图像的获取有利于后续测量精度的提高。

图1-1 立体视觉检测系统的组成

由于立体视觉检测系统采用非接触式测量法进行测量，对于一些危险场合或采用人眼无法实现的场合，如管道内部测量、医疗内窥测量、微型飞行器测量等常采用计算机视觉来取代人工视觉；此外，在工业生产流水线上，计算机视觉测量方式远比人工方式速度快、精度高，可以有效地提高生产率和自动化程度。

由于立体视觉检测系统的这些优势，它在诸多领域都有广泛的应用，如交通安全监控、智能导航、工业测量、自动化控制、装备制造及虚拟现实等，如图1-2所示。

图1-2 立体视觉检测系统的应用

a）轨道交通 b）汽车制造 c）在线测量 d）智能导航

立体视觉检测系统在一些空间狭小的场合也有广泛的应用，如管道内部的三维形貌测量等。由于空间限制需要检测系统小型化，而传统的双摄像机立体视觉检测系统为了得到较高的测量效果和精度，通常基线距离较大，使得整个立体视觉检测系统测量装置体积增大，导致由双摄像机组成的立体视觉检测系统无法进行测量。

立体视觉检测系统也广泛应用于动态条件下的检测，如铁路交通设备的检测。随着我国铁道技术的快速发展，为了保证行车安全，需要实时动态地进行轨道参数、接触网参数、车辆运行姿态参数等的测量。传统的立体视觉检测系统通常由两台或多台摄像机组成，而且是在动态条件下进行在线测量，因此最为关键的是两台或多台摄像机的同步精度。如果摄像机在获取图像时不同步，获取的是不同时刻的图像，那么在图像间的立体匹配过程中就会产生误差，从而影响系统检测精度，因此要求检测系统中两台摄像机曝光时间和拍摄时刻必须一致，同步时间误差至少要小于曝光时间的1/10。常用的同步控制采用多路图像采集卡，但目前的多路图像采集卡都是采用分时操作、多路视频切换的方式进行图像采集，很难做到两台摄像机完全同步；此外，为了使车辆在高速运行条件下仍能进行相关参数检测，通常需要采用成本高昂的高速摄像机，传统立体视觉检测系统需要采用两台或多台高速摄像机，有时候需要在多个位置进行测量，所需的摄像机数量就更多，这极大地增加了测量成本；在图像的处理过程中，由于要处理两幅高分辨率的图像，造成检测效率不高，特别是在车辆高速运行的条件下，甚至不能满足在线检测的要求。

为了扩展立体视觉的应用场合，提高测量的速度，在双摄像机立体视觉检测系统的基础上，许多专家学者开展了单目立体视觉检测系统的研究。这些研究主要集中于采用双平面镜和四平面镜配合的单目立体视觉传感器，这主要是因为采用上述两种方式传感器获得的单幅图像中两个像是一致的（同为实像或虚像），而且在结构参数设计准确的情况下，获取的像将各占图像的一半，非常有利于后续的立体匹配、三维重建等工作；但由于采用多块平面镜，尽管与双目立体视觉传感器相比体积有所减小，但总体来说传感器的体积还比较大，违背了该类型传感器设计时小型化的初衷。从目前搜集的文献资料来看，大多数学者的研究主要集中在单目立体视觉检测系统的结构设计上，后续的图像处理、立体匹配算法等研究方面成果较少；有部分学者从某些角度开展了基于单块平面镜配合的单目立体检测视觉系统方面的研究，如郑远杰等人提出了基于该传感器的概念，张正友等人进行了简单的点、线的三维重建工作；对单块平面镜配合的单目立体视觉检测系统缺乏系统的研究。因此本书为填补该方面的空白，将系统地开展该传感器的结构设计、内外参数的标定、单幅图像的极线几何理论、单幅图像的立体匹配以及其实际应用等工作。