imaging algorithm specialist staff image quality engineer
cmos sensor
color science
3A
狭义3A：自动曝光 自动对焦 自动白平衡
广义：整个相机自动控制
iris 光圈
ISO 感光度
Flash 闪光灯
ND Filter中窥镜 （外部感光特别强）
Laser（与AE AF都有关）
IR 红外
shutter快门
Zoom
Spot
Focus Motor 对焦，马达控制
Cloor Temperature 色温
输出：亮度，光源，距离，位置，深度，运动，方向，人脸
blacklevle linearity
去底电流，噪声。也是线性化基础。
不同增益 不同温度对黑电平都有影响。
线性化做的不好，会导致整体颜色偏差。
Green Imbalance
GB、GR不平衡会导致小格子，“迷宫格”
一般采用动态校正
采用周围4个各自的G值，进行判断，最后进行查找表对当前G 进行调整。
坏点消除
原因：
sensor工艺：灰尘，电子寿命
noise：sensor gain太大，湿度增益高
坏点：静态坏点、动态坏点。静态坏点基本是工艺，动态坏点基本是noise
也可以分
hot pixel：比周围点亮很多
dead pixel：比周围点暗很多
weak pixel：没有提供正确像素值，但是没有比周围点特别亮或特别暗。
坏点的分类和类型（指的是单通道上3x3平面上出现的）
单坏点、双坏点、多坏点
静态坏点一般在sensor中做，ISP也可以做。
坏点消除指标：1、不能损失原有图像细节 2、能够去除所有坏点 3、不能引起artifact（不自然效应）
静态坏点消除的坏点修正基本采用的都是中指滤波
使用方向梯度判断方向。例如，G4-G6最小，那么就是水平方向，G2-G8最小则为垂直方向。
corner case
1、噪声影响
高噪声（坏点校正调试时根据ISO进行调试）
2、高亮的孤立点（例如LED点阵列）
3、分辨率卡等（例如密集条纹）
lens shading
luma shading：lens的各位置和中心的透射率不同
color shading：
1、lens对不同光谱的shift不同
2、IR filter（红外滤波片）：lens对不同光谱的shift不同。滤掉近红外光和更高的红外光。
sensor vignetting也会导致luma shading和color shading，但影响比较小。
表现为：图像边角和中心点像素值不一样。
结论： （1）对于定光圈镜头来讲，色温是影响color shading的主要因素。
（2）任何shading，都可以通过当前像素乘以gain的方式来进行校正。
luma shading表现为：亮度有渐变，中心和周围不一样。从右边看出中间亮度高，周围亮度低。
展示图实际为灰图，即R=G=B。右下图为正常情况表现，右上图可以看出RGB不一样R>G>B。
color shading表现为：整个图像中有色偏，而且不一致。比如：中间发绿，周围发红。
左侧为luna shading评定，右侧为color shading评定。
color shading比luma shading标准严格，因为人对色度比较敏感。
shading correction几种模型方法
1、radial shading correct
gain_r1=r1/R*gain_radial
2、mesh correction
（1）线性差值
通过点与四个角的距离算出权重w。
w1Gain1+w2Gain2+w3Gain3+w4Gain4
（2）用logN，或多次方程拟合
3、auto shading correction
图像分成多个块，图只为简单例子。统计各个块色温。然后进行比较判断使用哪个gain使得各个块比值接近相同。
raw denoise
降噪也可以放在YUV。
放在raw denoise的好处：噪声是可测量的并且不会改变（模型可观）的。
raw域噪声一般随着亮度增大而增大。
在YUV处的降噪模型，不好用公式模型估计（没什么规律）
结构化噪声：在demosaic时，不同的边缘强度差值的方向以及插值的方式都会不一样，进而会导致噪声的成都和形态与当前像素所处的结构等有关系。
raw denoise的相关启发
1、raw denoise的噪声不是单纯的高斯噪声，而是和亮度有关的。
2、在raw denoise进行一定程度的降噪，对于图像质量会有很大的提高，比如结构性噪声。
3、在raw denoise设计降噪算法会稍微容易一些，参考noise profile，在不同的亮度进行不同强度的降噪，或者把噪声归一化，有利于保护细节。
4、noise profile并不是单纯用在denoise这一个模块上，还可以用在时域降噪、demosaic等模块上。
（实际使用时，不一定在raw domain降噪，很多ISP也都是以YUV domain降噪为主体）
降噪的评价标准：
PSNR
SNR
CPIQ（ISO 15739 noise）
枯叶图（降噪时要关注中低频的噪声。）
SNR的标准是：db越高，降噪程度越好。但SNR不能绝对代表图像好坏。
Dynamic Range 与Tone Mapping
DR 动态范围：图像表示信息量
最大亮度除以最小亮度
TM 动态范围压缩（高bit图像压成低bit图像，但视觉无损）
常见算法分类：
1、global tone mapping（单一曲线、双边滤波）
2、local tone mapping（虚拟曝光、local gamma）现在常用的方法
虚拟曝光：google/VIVO/OPPO常用
local gamma：将图分成N块，每一块单独统计直方图。然后拉出gamma映射
HDR图像来源：将多个曝光下的图像合成，低bit变成高bit。
tone mapping问题
1、局部对比度缺失（global容易导致的问题）
2、饱和度降低
3、halo（local容易导致的问题）
4、时域不平滑
5、会引起噪声的增大
6、tone mapping是个系统工程，且和应用领域有关。
Demosaic
color filter array：色彩滤镜阵列，不用滤镜吸收不同光谱。但是用这种方法如果对每个pixel都获得三个通道的光强的话，则需要对每个pixel都应用三个滤镜，成本过高。这种方法不需要demosaic。
bayer filter：50%绿，25%红，25%蓝。在间隔的pixel上方单一颜色滤镜，这样以来，每个通道能得到一个部分值空缺的图片，这些空缺的值可以通过各种插值手段进行填充。
demosaic步骤：
1、判断插值方向
2、在判定的方向上进行插值
3、后处理（可选）
基础点：
1、Green-based demosaicking。对G是横向、纵向插，挑选最优，然后用此结果插值RB。
2、Edge-based demosaicking
3、相关性原理
插值方法：色差恒定法，即R-G ，B-G的值是连续的。R5-Gr5=R4-Gr4
demosaic难点：1、摩尔纹 2、noise。放大噪声、会影响判断 3、模糊 4、false color
color reporduction
color model： RGB，色彩的基本元素描述色彩模型。
加性色彩系统
相机和人眼
SMYK：
减性色彩系统
打印，印刷
color correction
CCM目的：（主观提高曝光度）
将camRGB色彩空间转换为sRGB色彩空间。camRGB->XYZ->sRGB
sRGB->XYZ是已知的，按照CIE国际照明委员会。
CCM评价标准：
通过CIE LAB色彩空间来计算color error
CCM注意事项：
1、饱和值处理，饱和值一般不建议处理
2、CCM一般在gamma前面
CCM计算方法
1、24色色卡对应的srgb求逆gamma，然后作为target
2、求得输入图像24个色卡每个patch对应的额R G B mean
for color error < th
3、设置ccm matrix初始值
4、计算color error
if（color error<th || color error达到最小 || 迭代次数>n）
break;
else
5、计算新的ccm matrix值
end
end
调试CCM注意事项：
1、曝光正常
2、CCM会增强彩噪，在高ISO时需要降低ccm的saturation，甚至关闭CCM。
3、gamma变动时，ccm也需要跟随自己变动。
CCM缺点和3D lut的优势
1、ccm是线性的，但是色彩转换不一定是线性的。
3D-lut基本原理
每一个亮度有一个对应值（3维坐标）
由于坐标太多，不可能全部保存，所以划分成若干个8x8x8块，保存各个顶点值，块内的值通过插值得到。
Gamma与对比度增强
为什么gamma矫正：
1、韦伯理论（JND）：人眼的视觉是非线性的，并且人眼对暗部的变化更加敏感。
2、存储、传输、显示图像的手段是有带宽限制的。
因为人眼对暗区的变化更加敏感，所以在存储的时候应该给暗区更大的带宽。
通过gamma矫正，可以将存储的位宽更多的分配给暗区，然后在显示端再做反gamma矫正，将图像重新变成线性的。
encoder gamma和display gamma相乘不一定为1。
gamma对亮度、色彩的影响
1、gamma会降低色彩的饱和度。
2、不同gamma导致亮度变化
3、gamma与色彩空间
动态gamma校正与contrast：
sharpening锐化
图像锐化的主要目的有两个：
1.增强图像边缘，使模糊的图像变得更加清晰，颜色变得鲜明突出，图像的质量有所改善，产生更适合人眼观察和识别的图像；
2.希望通过锐化处理后，目标物体的边缘鲜明，以便于提取目标的边缘、对图像进行分割、目标区域识别、区域形状提取等，进一步的图像理解与分析奠定基础。
图像锐化一般有两种方法：
1.微分法
2.高通滤波法
这里主要介绍一下两种常用的微分锐化方法：梯度锐化和拉普拉斯锐化。
注意：由于锐化使噪声受到比信号还要强的增强，所以要求锐化处理的图像有较高的信噪比；否则，锐化后的图像的信噪比更低。
sharpening注意事项：
1、针对不同行业，调节合适的overshot和undershot，并保证MTF等达到要求
2、sharpening尽量不要增强噪声
3、不能引起nyquist以上的频率出现artifact
4、sharpending的边缘尽量平整，均匀。
5、sharpending和focus/MTF等互相影响，因此在测试一个时，需要控制好其他变量。
color space matrix/conversion
把色彩空间从sRGB->编码color space。即RGB->YCbCr。
spatial denoise（空域降噪与频域降噪）
噪声类型：1、高斯噪声（高斯+泊松） 2、椒盐噪声（基本是坏点，在DPC干掉） 3、FPN（noise是以固定形式存在，有专门模块，大部分sensor已经没有了）
所以去噪声基本是去高斯噪声
高斯降噪：和像素值无关和距离有关的降噪算法（图像每个地方处理一致，但有些地方想做不一样处理）
双边滤波：即双权重，和距离、像素值差有关（大边缘保留住了，但小细节被抹平，在学术上属于平滑算法）
非局部算法：在双边基础上改变，根据图像块的相似性来计算像素的相似性权重。
tempor 时域去噪
1、像素值判断（单点或block）
dif>th 运动，dif<th静止
2、光流
motion compensation
depurple（色散 紫边）
去马赛克，UV，色散都可能导致
物理原因：纵向色差和横向色差
成因：镜头没有把不同波长的光线聚焦到同一个焦平面（不同波长的光线的焦距是不同的），或者和镜头对不同波长的光线放大的程度不同而形成的。R G >B产生紫色
如何校正CA:
ISP:chromatic abberance correction（主要矫正镜头导致）、depurple（解决高亮，广角等导致）
chromatic abberance correction步骤（CAC）：标定+矫正
点状图：dot chart
depurple：不一定要有
depurple难点：
1、硬件设计line buffer很大
2、depurple后饱和降到会很产生artifact
3、误检测（比如紫色衣服矫正成黑色，或者紫灯）
CA与demosaic： demosaic后可能加剧紫边程度，RGB一致性更差。
ISP统计信息
有多个地方标记，代表可以从其中的一个位置输出。
AWB放 shading后面好处：放在线性化后面，图形都是线性的。
AE放WB后：图像亮度可知，后续demosaic，CCM不影响亮度，Gamma可以知道对亮度影响。
AF放demosaic后：节省硬件资源。
统计直方图，提供N x M单独区块亮度统计
总共多少点，块内有多少点，R/G/B均值。
AF统计信息：
每个格内的focus value，亮度。
亮度：把格内值取均值，把RGB转换成Y。
focus value：1、通过固定几个滤波器（3X3矩阵）提取关注点 2、FIR滤波器 3、IIR滤波器（目前主流）4、FIR+IIR
自动曝光
自动曝光≠亮度控制
自动曝光：控制相机感光度，控制快门，光圈
曝光=ISO+光圈+曝光时间
曝光标准：曝光误差 当前曝光值 与 实际应该达到的曝光值的偏差
每几帧做一次循环（闭环控制系统，考虑防止过充）
自动白平衡
原因：人眼和sensor 色温不一样。
统计方法
1、把窗口分成若干各自，算出各个R/G/B均值及像素个数，然后算出R/G,B/G（目前主流）
2、统计整个图像直方图
3、在YCbCr域进行统计，求出Y、Cb、Cr均值
怎么算RGB Gain：
灰世界：（优点： 计算量小 。 缺点：可能会失败，90%成功率）所以可以使用灰世界+别的算法，保证不失败。
白点法：
自动对焦
CDAF 反差对焦
PDAF 相位对焦
Laser assisted AF 激光辅助自动对焦
控制VCM调整焦距。
闪光灯
类型：LED/dual LED/Xenon
闪光灯常见问题：
1、反光的物体
2、Flash AE做成的过/次曝
3、Flash AF造成的失焦
4、Flash AWB造成的色偏
5、能量不够造成的远景不亮
6、曝光时间太长造成运动模糊
闪光灯指标：1、Relative Illuminace（范围亮度一致） 2、Chromaticity一致性（同一批色温一直）
HDR
HDR是一种改善动态对比度的技术。HDR就是高动态范围技术，提升最亮和最暗画面的对比度，这样用户可以看到更多的细节。
动态范围：最早时系统信号的概念，一个信号系统的动态范围被定义成最大不失真电平和噪声电平的差。
sensor的动态范围就是sensor在一幅图像里能够同时体现高光和阴影部分内容的能力
DR=20lg（i_max/i_min），10bit的i_max=1023，从数学本质将提高bit width就可以 提高动态范围。
i_min为底电流，i_max为 sensor最大不饱和电路。
多重曝光的HDR流程
图像配准意义：多张图合成时，去除人手抖动的影响
HDR合成常见问题：1、运动问题拖影 2、曝光时间的选择 3、颜色效果不自然