官宣800万像素相机装车量产计划的主机厂越来越多，而我司量产的“二八大杠”至今还在用100万像素相机。自动驾驶的军备竞赛在感知同事那里未引起一丝恐慌，反倒是我们产品部的女领导坐不住了。“再用一百万像素相机，产品的亮点还怎么写”，并喊出了”义务给感知同事翻倍像素”的口号。
而我，因为饱受诟病的手机拍照技术以及多次下午咖啡厅与女领导的不期相遇，被女领导点名负责此次相机的选型。美其名曰：通过这次选型，加深对相机原理的理解，以便提高团建时的摄影技术。我屈于房贷、车贷，小微贷，x贷，欣然接下了这个对我来说从0到1的挑战。
本文自动驾驶圈黑话第七期就将选型过程中学到的知识总结、汇总，以期给下个因贷款压力而不得不了解车载单目相机的寒士一间广厦。
单目相机一直被称为自动驾驶的“眼睛”，其可提供的丰富感知细节信息、适中的价格，稳定的性能，在自动驾驶感知领域被寄予开疆拓土的重托。
提供中远距、全天候内目标检测，包括动态目标（行人、车辆等）、静态目标（车道线、交通标识、交通信号灯等）。通过结合毫米波雷达的感知信息，当前已经可以比较成熟的实现L2下的预警（LDW/FCW）和控制(ACC/AEB/LKA/TJA)方面的众多辅助驾驶功能。未来与激光雷达、4D毫米波雷达的多传感器融合方案，也被认为是实现L3以上单车智能的标准硬件配置。
通过将大角度范围内的光线，进行压缩、扭曲之后提供大角度范围内车辆周边环境数据，并通过多个个环视相机图像的拼接，去扭和变形之后可以实现低速场景下非常实用的360°全景影像功能。泊车场景下，同时通过对停车线的识别，辅助实现自主泊车功能。
舱内驾驶员或车内人员状态监测。通过采集驾驶员面部图像数据，一来可以进行身份识别、认证，继而完成专属ID的自定义功能调整。二来可以用来检测驾驶员是否有走神、疲劳、打瞌睡等影响驾驶安全的行为，以便可以及时预警提醒。
天天举着相机乱拍，从来没想过里面的曝光、对焦、HDR都是什么原理，每次都是挨个点一遍，比较开与不开的效果，完全没有一点理论依据。这次机会来了，祖宗十八代都要给它调查清楚了。单目相机的成像原理包括透镜成像原理和感光显像原理两部分。
光成像现象最早可追溯到战国时期的小孔成像，以兴天下大利为己任的墨子发现用一个带有小孔的板遮挡在墙体与物体之间，墙体上就会形成物体的倒影。墨子及弟子们随手就记录在自己的日记本《墨经》里，这一顺手，也成为中华名族对光直线传播现象的第一次形象描述。
文艺复兴时期，思想进步贼快的欧洲人也发现了这一现象，但他们没有仅限于写在日记里，而是思考如何利于这个现象来丰富自己的精神生活，这是兵荒马乱的春秋战国年代所没有的物体基础。思来想去，欧洲人觉得可以用来画画，于是在悬梁刺股之后发明了暗箱写生。
在暗箱一面开一个孔，另外一面挂一块画布，通过临摹画布上的影像，一幅春树秋霜图很快就可以完成，画画效率及质量大幅提升。但时间一久，欧洲人发现暗箱太暗，视力下降太快，当时没有眼镜，导致人马相撞的事故率急剧上升。如果把孔开大一点，让更多的光线照进来，成像效果又非常模糊，不适合画画。这可让欧洲人左右为难。
在享受道路上未服输的欧洲人通过不断试验，发现将凸透镜装在暗箱的孔上，能将传播过来的光线聚焦，这样孔开的大一点，也能得到清晰明亮的影像了。利用的就是凸透镜的屈光性原理，光线由一种介质进入另一种不同折射率的介质时，会发生前进方向的改变，这也是相机透镜成像原理的基础。
暗箱写生经过一段时间的风靡之后，部分欧洲人过了那股新鲜劲，且忙于殖民侵略扩张，很难有时间再悠闲地写生了。他们开始琢磨，如果不用人画，能直接将影像记录下来，是不是一个巨大的商机。基于这个思路，欧洲的科学家们不断尝试，最红发现碘化银这种材料对光线非常敏感，在不同强度的光线照射下可以形成不同大小的晶体。
将这个感光材料涂到一个光滑的平板上并曝光几十分钟，就可以把影像记录下来，这也就是著名的银版照相技术，同时也标志着现代摄影术的开端。感光材料自此成为欧美科研院所，企事业单位研究的重点，且在经历无数种材料的排列组合试验之后，诞生了上风靡全球的感光材料“胶片”。而其发明者公司柯达，顺势推出胶卷家用相机，也让相机开始走入寻常百姓家。而我们也有幸得以在今天还能欣赏到清朝后宫佳丽三千留下的千娇百媚。
胶片的狂欢伴随着电子化感光材料的出现而终止，基于电子感光材料的数码相机在前期拍摄成本、后期处理便利性上具有碾压性优势，在成片质量已经不输胶卷相机的现状下，胶卷相机走下历史舞台合乎情理。取而代之，走上舞台的是大街小巷、男女老幼随处可见的“剪刀手”。
目前车载单目相机的组成相差不大，抛弃螺丝、外壳、密封圈等一些机械部分，从外往里最重要的组成部分为镜头、图像传感器、ISP和串行器。下面逐一重点介绍。
收集被照物体反射光并将反射光聚集到图像传感器上面，类似于小孔成像中的小孔。而我们选型的重要参数焦距和FOV就与镜头息息相关。
焦距是衡量镜头光线聚集或发散的度量参数。平行光线入射到凸透镜时，理想的透镜会将所有的入射光线都聚集到一个点，这个点就是焦点。焦距长度是指从透镜的光心到焦点的距离。
FOV（Field of View ，视场角），是指以镜头为顶点，以被测目标的物像可通过镜头的最大范围的两条边缘构成的夹角。超过这个视场角范围的物体不会被镜头获取到，包含水平HFOV，垂直VFOV和对角DFOV。
一个确定的焦距就意味着一个确定的视场角。焦距数值越小，视场角越大，相机可拍摄的范围也就越大，但距离远的物体会分辨的不是很清楚；焦距数值越大，视场角越小，相机可拍摄的范围也就越小，只要焦距选择合适，即便距离很远的物体也可以看得清清楚楚。下图可充分展示焦距和视场角的对应关系。
一种将镜头聚集的光信号转换为电信号的电子成像介质。设计难度大、玩家少导致今年车规级2MP的车载相机奇缺，供应商反馈有的货期达到半年以上。图像传感器主要有两种类型，CMOS类型和CCD类型。目前CMOS图像传感器在车载相机领域中占绝对主导地位，主要供应商安森美、索尼、豪威等也是今年被汽车大佬们拜访频率最高的一年，据说是为了抢芯片，蹲守产线，下线即拉走。
CMOS(Complementary Metal-Oxide-Semiconductor，互补金属氧化物半导体)，一种由硅和锗两种元素所做成的半导体。在一块芯片大小的尺寸上面，雕琢百万、千万的像素，每个像素都集成有感光二极管、传输电极门、放大电极门等电路，主要起着光电转换、电荷电压转换、模拟数字转换三大作用。可谓是弹丸之地显神通。
CCD（Charge-coupled Device，电荷耦合器件），一种单晶材料半导体。同样切一块芯片大小尺寸的，只能在上面雕琢出基于光电效应产生模拟电荷信号的作用。想要实现数字图像数据输出，需要在后端增加地址译码器、模数转换器、图像信号处理器、电源和同步时钟控制电路等。可谓是一个好汉三个帮，拖家带口。
CMOS和CCD的最主要的差别在于集成度和“放大器”。集成度上文已介绍，CMOS图像传感器的集成度远高于CCD图像传感器。而对于放大器，CMOS中每个像素直连一个放大器，进行电荷到电压的装换，百万像素级信号分别处理，信号一致性控制是一个挑战。CCD中每个像素产生的电荷信号先送入电荷存储器中，再通过专属通道输出至一个总的放大器进行电荷电压的转换，信号的一致性会比较好。这两方面的差别，也导致CMOS和CCD在某些性能上具有不小的差别，部分差异如下表。
相机选型中的很多重要参数都与图像传感器有关，下面介绍几个主要的参数。
1、光学尺寸，是指图像传感器感光区域对角线的长度，一般用英尺表示。光学尺寸越大，通常意味着成像尺寸越大，感光性能越好，信噪比越低。目前常用的尺寸有2/3、1/2、1/3、1/4英寸等。
2、像素，图像传感器的最小感光单位，图像传感器的感光区是由多个像素排列组成的二维矩阵。相机的分辨率可以用用横纵方向的像素数表示，比如1920×1080。而它俩的乘积，就是我们常说的相机像素总数，比如2MP（2 Maga Pixel，200万像素）。像素总的数量直接决定了图像传感器的综合能力。
3、像素尺寸，图像传感器上每个像素的物理尺寸，用相邻像素的中心间距来表示。像素尺寸越大，能收集到的光子数越多，芯片灵敏度越高，意味着在同样的光照条件下和曝光时间内，芯片能收集到的有效信号越多。然而在相同分辨率下，像元尺寸越大，芯片面积越大，芯片的成本和价格也会随着像元尺寸成平方关系增长。
4、动态范围，表征了传感器对强光和弱光同时分辨的能力。图像传感器的动态范围越高，就可以探测更宽光强范围内的场景信息。这个参数对于明暗交替的道路及进出隧道的那一刻，具有重要意义。
5、灵敏度，灵敏度是衡量图像传感器光电性能的最重要指标，高灵敏度意味着可以在光照较暗或曝光时间较短的情况下得到清晰的图像，所以在微光成像、高速成像等应用中，应选取具有高灵敏度的图像传感器芯片。
6、快门类型：CMOS传感器上集成了电子快门，分为全局快门和卷帘快门。全局快门芯片的每个像素中集成一个信号存储单元，所有像素同时开始曝光，并同时结束，因此适合捕捉高速运动物体的瞬时状态。由于在像素内集成存储单元需要相对复杂的电路结构，降低了像素内有效感光面积，因此全局快门CMOS图像传感器一般噪声较高、灵敏度和动态范围较低。
和全局快门不同，卷帘快门的每行像素开始曝光和截止曝光是在不同时间点发生的，但是所有像素的实际曝光时间是相等的。因卷帘快门像素内没有存储单元，曝光结束后，信号必须被马上读出。因为传感器无法在同一时刻读出所有行的信号，因此曝光须逐行停止、逐行读出。为了保证每行像素的曝光时间相同，因此每行的开始曝光时间也需要顺移。因无需存储单元，卷帘快门像素设计相对简单，可以最大程度优化有效感光面积，提升传感器的灵敏度，降低噪声。
ISP（Image Signal Processor，图像信号处理器），用来对前端图像传感器输出信号进行处理的单元。把还给初中物理老师的知识我们再捡回来，我们人眼所能看到的各种颜色的光其实是由光的三原色RGB（Red、Green、Black）按一定的比例混合而成的。而图像传感器的感光版上放置了一个色彩滤波阵列，阵列上RGB三种颜色间隔排列，这样一次曝光就会产生RGB三幅图层，每一个图层中彩色的是有感光数值的，白色空白是没有感光数值的点，这些感光数值也成为图像传感器输出的Raw Data。但是ISP输出的时候，却要输出每个像素的RGB三个值。
这个时候ISP只能根据旁边像素的R/G/B的值通过颜色插值方法去计算本像素其余两种颜色的值，这也是是ISP的最重要工作了。而就是这插值的配方也把各家分成了不同的样子，有的富贵典雅，有的蓬头垢面。可能有人疑问，为什么不放置3套感光版呢，这样每个像素都可以直接感知RGB的3个分量。但3套数据的时间同步和对齐的技术难度已经让常人无法接受，更别提成本了。
ISP除了负责颜色插值，还负责一些我们再相机使用过程中耳熟能详的功能，特举几例。
（1）自动白平衡，人因为有先验经验，对不同光源下的白色物体总可以识别为白色的。但是图像传感器不具有这样的特点，ISP需要通过算法将不同色温光线下的白色物体，输出都更接近白色。
（2）颜色校正，图像传感器获取的图像，除了白色有差距以为，其他颜色也有差距。因此ISP还需要通过算法对除白色以外的颜色进行校正。
（3）色彩空间转换，目前车载摄像头的数据输出格式通常为YUV,YUV使用一个亮度分量Y和两个色度分量UV来表示基本色彩空间，其传输和存储时更省带宽。因此ISP还需负责色彩空间的转换
（4）自动曝光，人眼对不同强度的的光有很强的适应能力，而图像传感器却不具备。因此ISP就需要根据光强度来自动调节曝光时间。
（5）自动对焦，拍过照的人都知道，焦距没对好，美女变大妈，因此ISP通过判断图像的模糊程度，自动调整焦距。
CSI（Camera Serial Interface），MIPI联盟制定的相机标准接口，这也是多数ISP使用的数据输出标准，CSI的高速、低传输延时、低功耗特点使其特别适合移动设备的摄像头数据传输，但是传输距离较短，长距离传输无法保证信号的完整性。
而对于乘用车或商用车动辄5m甚至10m的长距离数据传输的要求，就需要通过串行器转换为适合长距离传输的高速总线标准。目前车载领域主流的两种长距高速传输总线为基于LVDS协议的FPD-Link和GMSL，目前采用同轴电缆/屏蔽双绞线均可支持15m长的远距离传输。
FPD-Link（Flat Panel Display Link）最早是National Semi提出来的一种处理器和LCD Panels之间的高速数字接口，目前已经发展到FPD Link III。GMSL（Gigabit Multimedia Serial Links ）是Maxim公司推出的一种高速串行接口，适用于视频、音频和控制信号的传输。目前主流车载相机厂商均支持这两种接口。
女领导的任务算是圆满完成了。同时也产生了一点思考，如何评价众多自动驾驶公司的技术能力？是传感器的配置豪华度？还是官方公布的优雅路试视频？我想车载单目相机的使用水平可能是一个重要参考。高线束激光雷达+高精度组合导航的配置可以让自动驾驶公司快速的在开放道路进行测试、封闭场景启动落地。但真正要想让自动驾驶车辆具有人类一般的机动性、灵活性、高效率，还是要去充分利用“眼睛”的信息。没有建立一套基于“眼睛”不断进化的感知算法，都是笃信大潮永远不会落去的浪人。
花大钱（激光）办大事，这是理所当然之事；花小钱（相机）办大事，这才是立身保命的本事。
初心 | 记录生而为人的证据，分享工农阶层原创作品，聚焦智能网联与人情冷暖。
声明 | 本文部分文字及图片资料取自网络，如有侵权，请联系平台进行修改或删除；文章属于作者本人，仅代表个人观点，不代表平台立场，如有不妥，也请联系平台修改或删除；本文不作任何商业用途。
原文始发于微信公众号（十一号组织）：车载单目相机，自动驾驶的“眼睛”
