目录
一、问题背景:
2.问题分析:
3. 运动模糊/拖尾原因分析;
1)曝光时间过长
2)相对运动造成的运动模糊
3)时域降噪强度过大
4)宽动态模式下的双帧融合
5)果冻效果;
一、问题背景:
拍摄到的行驶中车辆的照片模糊且有污迹。 客户要求通过提高帧率和减少曝光时间来解决这个问题。 下面总结分析运动模糊的原因,以及客户的要求是否合理,能否解决问题;
2、问题分析:
如果在高速公路上抓拍车辆,一般应该是以下两种情况:
一种。 车辆速度过快,摄像头没有拍到车辆;
可以拍到车辆,但照片模糊;
(又称Montion artefact)3D动画,曝光时间过长会导致模糊和拖影,提高帧率确实可以减少曝光时间,但提高帧率影响更大(mipi率增加,对平台有要求performance,在低照度下,亮度变暗,噪点变大),所以可以暂时忽略调整帧率,在确认具体原因后再进行更改。
3、运动模糊/拖影的原因分析; 1)曝光时间过长
原因:拍摄运动物体时,只有曝光时间足够快,物体相对于相机是相对静止的,否则运动物体的整个运行过程都成像在cmos上,所以拍出来的照片会模糊,有涂片;
措施:
一种。 调试时,先将曝光时间设置为手动,减少曝光时间(积分时间),看是否有改善,确认是否是曝光时间过长造成的;
b. 如果在此场景中达到设置的最大曝光时间,则可以减少最大曝光时间。 一般驱动中最大曝光时间设置(积分时间)为:VTS - frame_offset;
C。 如果场景不是很暗,曝光时间没有达到最大值,也可以将最大曝光时间降低到一个合适的值,但此时由于曝光时间的减少,图像会变暗,这只能通过调整传感器增益来补偿,噪声是不可避免的。 会很严重;
d. 另一种更好的方法是换成高感度的传感器和大光圈的镜头(因为曝光不充分,所以曝光时间长);
e. 另外,提高帧率也是可行的,这样单位时间内每帧的曝光时间会减少,但图像在低照度下也会变暗unity 物体轮廓高亮unity 物体轮廓高亮,带来噪点;
2)相对运动引起的运动模糊
原因:
比较常见的是,我们在用手机拍照的时候,如果手抖的不稳,拍出来的照片就会模糊,尤其是当相机和被摄体有比较大的相对运动,也就是整个运动的时候过程全部成像在传感器上,造成成像模糊;
3)时域降噪强度过大
原因:
时域降噪强度越大,运动物体的拖影越明显; 实际时域噪声只是噪声的一种,也就是普通的空间噪声,因为有些噪声是与位置无关的,所以看视频中会有噪声抖动(即帧与帧之间同一位置的噪声程度是不同的),而时间降噪可以理解为前后多帧的叠加,所以对于运动的物体,拖尾很明显(运动物体的位置在帧与帧之间变化很大);
注意:时域降噪不仅仅是多帧叠加,否则抖动噪声也会影响清晰度。 在降噪模块中,也有相应的运动检测模块。 图片的运动部分用于时间降噪。 做空域降噪;
措施:
一种。 可以先绕过时域降噪模块,看看拖影有没有消失;
b. 确定是时域噪声引起后,判断当前环境亮度,因为时域降噪强度是根据增益值调整的(环境越暗,增益越大,噪声越明显,并且去噪度越大),如果环境还是很亮,先检查一下曝光参数是否正确;
C。 排除错误的曝光参数,调用下一级强度时域去噪后,可以适当降低时域去噪强度,但要注意动态噪声的权衡;
4)宽动态模式下的双帧融合
原因:当sensor选择HDR模式时,会输出两帧长曝光和短曝光(对应dol的hdr,digital overlap表示长曝光还没有读完,短曝光开始曝光),以及ISP 进行双帧融合。 输出具有高动态范围的图像; 当传感器进行长曝光和短曝光时,中间会有一个时间间隔。 当对运动物体成像时,由于两帧之间的时间差,捕获的图像是不同的。 当isp合并两帧后,会出现类似上图motion smear的现象,不过这种smear不是很长,在高光处比较明显,可以用来区分;
切换到DCG(双转换增益)传感器可以避免Montion伪影,它通过高低增益输出两种不同的曝光,因此不存在帧之间的时间差问题;
5)果冻效应;
原因:是使用了逐行曝光传感器造成的,因为传感器是逐行曝光的,线与线之间存在时间差。 在拍摄快速移动的物体时,成像的物体会被扭曲拉长。 注意应与曝光时间造成的拖影区分开来。 曝光时间过长会出现拖影,但不会造成成像物体变形;
措施:
一种。 通过提高帧率,减少一行的时间,可以减少曝光时间,可以缓解果冻效应。
b. 更换全局快门(Global Shutter)传感器可以彻底解决果冻效应。 全局快门传感器可以让所有像素同时开始和结束曝光,曝光后依次读出。 因为所有像素的曝光时间都在同一个时间点,不会有时间差,所以拍摄快速移动的物体时不会出现果冻效果。
注:如何在全局快门和卷帘快门相机之间进行选择?
--- g lobal shutter更短的曝光时间,但会增加RMS readout noise,Rolling shutter能达到更高的帧率吗? ? ,但当曝光不当或物体快速移动时游戏运营,会出现局部曝光(partial exposure)、倾斜图形(skew)、抖动(wobble)等现象; 曝光时间短的应用(例如
---例如,用于车辆和机器视觉的摄像头,对车辆、人脸、人的检测和识别有很高的要求。 果冻效应对后端算法的检测和识别有致命的影响,所以为了安全一般采用全局快门。 、手机和部分消费类相机主要采用卷帘快门,对帧率要求不高(安防监控一般为25fps/30fps),对低照度下的噪点有一定要求,曝光时间相对较长;
--- 另外,全局快门一般是CCD传感器,成本高于cmos传感器,而且全局快门同时曝光所有像素,需要处理大量数据,并且有还必须考虑平台性能的要求;