2.1 视觉传感器的种类和原理

视觉传感器成本低廉，获取的环境信息直观，在车载领域得到了广泛应用，比如目前常见的倒车影像和360°全景环视系统，都使用了鱼眼摄像头。同时，随着各类图像处理方法的发展，以及图像处理芯片成本的持续降低，使用视觉传感器实时获取环境信息成为一种可行的车载应用方案。因此，视觉传感器成为目前智能网联汽车广泛使用的传感器。目前，具备图像识别能力的视觉传感器主要是前视摄像头，如图2-1所示。

视觉传感器又称为成像装置或摄像装置，是智能车辆路径识别模块中摄像头的重要组成部分，可以检测可见光、紫外线、X射线、近红外光等，实现视觉功能的信息采集、转换和扩展，提供可视化、真实、多级、多内容的视觉图像信息。图像传感器控制芯片如图2-2所示，按安装位置分，有前视、后视和环视；按镜头类型分，有长焦、鱼眼；按传感器的原理分，有单目可见光、双目可见光和红外夜视等多种类型。

视觉传感器的感知核心是电荷耦合元件（Charge-coupled Device，CCD），是一种半导体器件，能够把光学影像转化为数字信号。CCD上植入的微小光敏物质称为像素（Pixel）。一块CCD上包含的像素数越多，其提供的画面分辨率也就越高。CCD的作用就像胶片一样，但它是把光信号转换成电荷信号。CCD上有许多排列整齐的光电二极管，能感应光线，并将光信号转换成电信号，经外部采样放大及模数转换电路转换成数字图像信号。CCD作为一种新型的光电转换器，现已被广泛应用于摄像、图像采集、扫描仪以及工业测量等领域。CCD图像传感器可分为两类：一类用于获取线阵图像，称为线阵CCD；另一类用于获取表面图像，称为面阵CCD。对于线阵CCD，它可以直接接收一维光学信息，但是不能直接将二维图像转换成一维电信号输出，为了获得整个二维图像的输出，必须采用线扫描方法来实现。面阵CCD的感光单元以二维矩阵排列，可以检测二维平面图像。

涂在CCD表面的硅半导体光敏器件捕获光子并产生光生电子，这些电子首先聚集在CCD下的绝缘层中，然后由控制电路串行输出到模拟电路，再通过成像电路（如DSP）进行传输形成一个图像。

视觉传感器的镜头和CCD将获取到的光信号转换为可以由计算机处理的图像编码后，内部的光敏元件电路和控制元件对图像编码进行处理，并将其转换成控制单元可处理的数字信号，进一步使用各类图像处理算法从图像中提取并跟踪相关特征，即可实现对车辆周围路况的识别，为决策系统做出前方碰撞警告、车道偏移报警和行人检测等提供有效的环境感知信息。

单目摄像头、双目立体摄像头、红外摄像头是目前在汽车上应用比较广泛的视觉传感器，它们的检测原理、处理算法及特点各有不同，下面分别介绍这几种典型的车载视觉传感器。

2.1.1 单目视觉传感器的原理和特点

单目传感器的工作原理是先识别后测距，首先通过图像匹配对图像进行识别，然后根据图像的大小和高度进一步估计障碍物和车辆移动时间。在算法设计过程中，需要将标记有待识别目标的图片建立成为样本数据库，并由算法去学习这些图片中的特征，在实际应用时，就可以根据已经学习到的特征，识别出待识别目标。要识别各种车型，需要建立车型数据库；要识别动物就需要建立动物数据库；要识别人类或者自行车等交通参与者，也需要建立相应的模型数据库。样本数据库容量越大，通过学习得到的计算机视觉算法就可以越准确地识别目标，同时避免误识别。

目前的辅助驾驶领域的单目摄像头可识别40～120m的范围，未来将达到200m或更远。单目摄像头的视角越宽，可以实现的精确检测距离越近；视角越窄，可以检测到的精确距离越远。

单目摄像头是自动驾驶车辆系统中最重要的传感器之一，通过车道线检测和车辆检测，可以实现车道保持和自适应巡航功能，如图2-3所示。它具有成本低、帧速率高、信息丰富、检测距离远等优点，但易受光照、气候等环境影响，缺乏目标距离等深度信息，对目标速度的测量也有一定影响。

智能网联汽车传感系统使用单目摄像头是一种很好的方法，但也有明显的问题，比如依赖大量训练样本、特征提取过程难以观测和调整等。由于传感器的物理特性，摄像头测距精度远低于激光雷达和毫米波雷达。因此，在实际应用中，需要结合激光雷达和毫米波雷达等其他传感器进行探测，这些传感器在各自的约束条件下能够发挥各自最优的性能，各类传感器的融合将大大提高目标检测的精度。传感器融合是感知的核心理念，不同的传感器需要利用各自的优点，克服各自的缺点，实现相互补偿。

另外，单一的摄像头由于镜头角度、探测范围和精度有所不同，在实际应用中也经常采用组合的单目摄像头来实现不同的环境检测，如：

①长焦摄像头和短焦摄像头组合的方式，提供远距离精确探测和近距离大探测范围的综合检测。

②四个鱼眼摄像头分别布置在车辆的前后左右，通过图像拼接提供环视功能。

2.1.2 双目视觉传感器的原理和特点

双目视觉传感器的工作原理是先对物体与本车距离进行测量，然后再对物体进行识别，车载双目摄像头如图2-4所示。

在距离测量阶段，先利用视差直接测量物体与汽车之间的距离，原理与人眼相似。当两只眼睛注视同一物体时，会有视差，分别闭上左右眼看物体时，会发现感觉位移，这种位移大小可以用来测量目标物体的距离。

在目标识别阶段，双目摄像头仍然使用与单目视觉相同的特征提取和机器学习算法来进一步识别目标。

双目摄像头利用仿生学原理，通过校准后的双目摄像头获得同步曝光图像，然后计算得到二维图像像素的三维深度信息。利用视觉计算原理，可以计算出拍摄场景中物体的三维空间位置信息。在此基础上，可以实现环境感知、体感、建模和行为识别等多种应用。与单目摄像头相比，双目摄像头更适用于获取单目摄像头无法准确识别的信息。

如图2-5所示，双目摄像头由于自身的测距原理，会要求两个镜头之间的误差越小越好。如果两个镜头的误差都大于5%，那么识别过程中调整的算法难度就会大得多，不能保证测距确定性。

双目摄像头可以在不识别目标的情况下获得距离数据。双目摄像头输出深度图不能直接用于自动紧急制动系统等功能，与单目摄像头一样，也需要对目标做出识别，此时仍然要利用单目摄像头一样的特征提取和自学习等图像处理算法。

双目摄像头本身的安装要求很高，例如，摄像头之间的距离在10～20cm之间，这个距离需要非常精确，因为它直接关系到测距的精度。由于汽车所处的环境复杂多变，工作环境温度要求在-40～85℃之间。另外，传统器材必然存在热胀冷缩问题，这将影响两个摄像头透镜之间的距离。

由于目标距离越远、视差越小，双目摄像头在20m内测距精度较高，随着距离增加，可以通过高像素摄像头和更优秀的算法来提升测距性能。双目镜头间距对测距精度也有较大影响，镜头间距越小，检测距离越近；镜头间距越大，检测距离越远，同时标定和安装难度越大。考虑车载设备安装布置和标定等因素，镜头间距也不能过大，因此双目摄像头的测距能力也受到了约束。

双目摄像头兼具了图像和激光测量的特点，也有自身安装、标定和算法方面的挑战。在实际应用中，双目摄像头可以获取的点云数量远多于激光雷达，但是要强大的算法适配才能进一步做出分类、识别和目标跟踪，同时也需要具有较强计算力的嵌入式芯片，才能使其优势得到发挥。

2.1.3 红外夜视视觉传感器的原理和特点

由于夜间可见光成像的信噪比较低，从而导致基于可见光的视觉传感器夜间成像的难度增大，而远红外系统在这个时候就能发挥自身独特的优势。

自然界中一切温度高于绝对零度的物体，每时每刻都会向外辐射红外线。红外线辐射的物理本质是热辐射，也是一种电磁波。红外线是从物质内部发射出来的，产生红外线的根源是物质内部分子热运动。

红外线通常指波长从0.78～1000μm的电磁波，红外波段的短波端与可见光的红光部分相邻，长波端与微波相接，如图2-6所示。红外线与电磁频谱的可见光一样，以光速传播，遵守同样的反射、折射、衍射和偏振等定律，因此其成像的原理与前面介绍的视觉传感器完全一样。

基于红外热成像原理，通过能够透过红外线的红外光学系统，将视场内景物的红外线聚焦到红外探测器上，红外探测器再将强弱不等的辐射信号转换成相应的电信号，然后经过放大和视频处理，形成可供人眼观察的视频图像，如图2-7所示。

红外夜视可以分为主动和被动两种类型。被动红外夜视技术，利用目标发出的红外线形成环境的热图像；主动红外夜视技术，通过主动向外发射强红外线，再由反射光学系统的物镜组接收，在红外成像管的光电阴极表面形成被测目标的红外图像。

红外夜视系统是视觉传感器一个独特的分支，图像处理算法在处理远红外夜视图像过程中依然能够发挥作用，因此红外夜视系统能够像可见光摄像头一样，获取环境中的目标大小和距离等信息，在光照不足条件下是对基于可见光的视觉传感器的一种有效补充。

2.1.4 多个视觉传感器的组合应用

在汽车智能驾驶中，通过不同焦距和不同仰角的多个单目摄像头，可以获得不同位置的交通标志、信号灯和各种道路标志的检测和识别能力。例如，在长焦摄像头的成像中，100m处的交通灯足够大，100m处的交通标志上的数字也清晰可见。而在短焦距摄像头的成像中，100m处的交通标志上的数字是完全不清楚的。因此多个单目视觉传感器的组合方案在智能网联汽车领域也得到了广泛的应用。

汽车驾驶的动态环境是不断变化的，正确而充分地理解环境是智能网联汽车感知系统面临的重要挑战。如图2-8所示，由三个单目摄像头构成的三目摄像头划分为不同的视场角，如25°视场、50°视场和150°视场。其中，25°视场探测距离远，用于检测前车道线、交通灯；50°视场探测距离和范围均衡，用于一般的道路状况监测；150°视场探测范围广，用于检测平行车道、行人和非机动车行驶的状况。三目摄像头可以获得覆盖范围更大的视场角，可以有效获得道路状况、行人和交通灯等信息。

随着智能驾驶水平的提高，对车上传感器的数量和要求也会增加。单就视觉而言，仅仅通过环视或二维视觉很难满足复杂环境感知的需求，对多维立体视觉的需求会越来越突出，如何通过各类传感器的组合实现对环境变化的适应和感知，是视觉传感器及图像算法领域面临的挑战。