随之ADAS和智能驾驶的发展,车载摄像头在车上的应用也越来越多,以特斯拉为例,其Model 3的车身共配了8个摄像头、12个超声波传感器、1个毫米波雷达,最远视野范围可达250米,视野角度可达360度。无论是对于特斯拉这种坚持视觉为主的方案还是Waymo的以激光雷达等多传感器的厂家来说(Waymo 最新的第五代自动驾驶系统包括遍布车内外的29个视频摄像头,很夸张对不对),大家都无可避免的证明:视觉绝对特别重要。视觉的输入就是摄像头了,那么车载摄像头和我们普通的摄像头有什么不一样呢,它们在系统的适配是什么样子呢,我们一起来总结分享下吧。
车载摄像头:
为了更好地直观的了解摄像头的构成,我特意将其拆开见图如下:
接插件 Sensor 芯片 串行器芯片
有了直观印象后进行详细介绍,现阶段绝大多数的车载单目摄像头构成如下:
Ø Sensor芯片: 这里厂家是索尼(IMX390、IMX424等)、安森美(AR0231、AR0143等)这里还是CMOS 数字图像传感器占主流,以AR0143为例让我们更好地理解sensor的一些参数。
对于一个CMOS 数字图像传感器,我们第一个关注的就是它的像素,从手册里可以看出,AR0143是一款130万像素的传感器,同时第二个要关注的就是它的输出接口,我们可以看到其支持MIPI和Parallel(并口),然后是RGB格式,这里我要特别说明一点,为了更好地适应各种不同环境,其实现在越来越的的传感器采用了RCCB(典型比如特斯拉使用)RGB其实分布着3种彩色的滤镜, RGB 分别代表着:R(Red)红,G(Green)绿,B(Blue)蓝,但是在实际应用中,为了更好的适应人眼视锥细胞的特性,我们对绿光尤其敏感,所以我们实际使用了50%的空间安装绿滤镜,剩余各25%安装红和蓝滤镜,所以实际应用中应该被称为RGGB滤镜。RCCB中的C是表示C代表着Clear,也即是白色滤镜,这样就可以得到更多的亮度信息,这对我们汽车视野来说更加重要一些。
其实Sensor这边还有很多的学问和要求,但是实事求是的讲,这个小东西还是比较复杂的,我目前也没有发现很好的国内替代公司,这个对于国产芯片来说还是任重道远,对于我们来说一旦选择了一款车载相机后首先要做的是得到sensor型号,从摄像头厂家或者sensor厂家得到sensor的基础参数和一些配置参数,以供后面我们使用(后面讲适配时会详细展开)。
Ø 串行器 这个直接上图让大家更好地理解,请看下图:
够直观了吧,或者来个更详细的:
试想一下如果我们直接SENSOR这边的数据直接给我们的ECU行不行呢,当然可以。那为什么还要多此一举的加个串行器和解串器呢,答曰为了传输啊。试想一下如果你将这么多信号DIN[11:0]/HS/VS...一股脑的连到ECU这得多少线(而且这才只是一个摄像头),而且万一一捆线束里再坏个一两根,到时排查问题时一定会让你崩溃的。所以我们现在很好理解串行器的意义了吧,一根小小的同轴线缆就可以达到将IIC、HS/VS、DIN这些数据都传输出来,是不是很巧妙,同时也表明了设计难度很大,很遗憾的是现在来说解串型器芯片全世界目前来说只有两家可以做,一家TI一家Maxim,不过好消息是国内的厂家已有有在这方面努力的,希望能够早日面世吧。
所以简单来说串行器就是把sensor的各种数据转换成GMSL信号,通过COAX或者STP传出去。
Ø 镜头,光学镜头,这个就是纯光学器件了,用户无需任何操作(其实也做不了什么),不过这个还是很复杂的,建议可以上知乎等多搜搜看看,而且这个后面的标定的什么的都与其相关。摄像头还有一个参数就是视场角FOV,这个其实更多的是由镜头决定的,浅浅的讲就是FOV越小你看的也就越远,所以一般前视视场角比较小,但是环视(泊车用)的摄像头就要求视场角尽可能的大,这也就是我们常说的鱼眼相机了。
Ø 壳体,更没什么好讲的了,就是根据安装来定义,这里想引申讲一下上面讲的接口COAX,Coax传输技术是一种新推出的接口技术,还没有标准化的接口协议。这种新的接口技术采用光纤或者同轴电缆材料(Coax线缆,现在摄像头模组的主流线缆)进行数据的串行传输。可通过此线缆实现图像数据传输,IO接口控制,提供电源灯功能。此传输技术具有传输距离长(170米),数据量大(6.25Gbit/s),可以集中解决各种传输接口的传输速度,传输距离以及传输稳定性等各种问题。不过个人感觉监控等行业慢慢的以太网居多,而汽车行业随之以后以太网的普及,这也是车载摄像头接口的未来发展方向之一。
大部分摄像头的构成就如同上面我们讲的一样,这个做一个补充的是还有一些摄像头是添加了ISP芯片的,但是现在的主流来看,无论是特斯拉还是英伟达的主控芯片来说,其均涵盖了ISP部分,以特斯拉的FSD为例,从它的芯片构成来看其内部其实有挺大一部分就是专门来做ISP的,包括前段时间阿里推出的ISP处理器,其实这个趋势还是很明显的,主流的SOC厂商还是会把ISP放到芯片内部来处理。不过我也碰到了一些添加了ISP芯片的摄像头模组(比如AR0143+AP0101),这种摄像头最大的不同我认为在于1、输出就是YUV or RGB的格式。2、一般无需对sensor进行配置3、减轻一些平台处理器压力,尤其是一些soc本身如果没有特定的ISP模块那么其实用CPU来处理还是挺耗占资源的。
摄像头的介绍就大体介绍到这里,下面讲讲一下我摄像头适配的平台NVIDIA的XAVIER芯片及其DRIVER OS。