成像过程就是测量自然场景的光照强度,如果把图像传感器比作一把测量光强的尺子,那么成像的Dynamic Range(动态范围)就是这把尺子的量程。如果我们需要测量的自然场景超过了这把尺子的测量范围,我们应该怎么做呢?我们可以用这把尺子多次测量,每次测量不同范围,最后将每次测量的结果拼接起来,相当于用了一把大量程的尺子,这种技术就叫做HDR技术。
我们可以生成一副大动态范围(HDR)的图像,但是我们的显示器显示不了那么大动态范围的图像,同时我们还希望看到更多细节,这就要用到动态范围压缩技术(通常是Tone Mapping)。这篇博客简单介绍HDR技术,正如标题 浅谈~ 一下
一、动态范围
关于动态范围是什么,请允许我摘抄一份ppt中的内容:
自然界中的场景存在着很大的动态范围,在室内光照比较均匀的场景,光照变化可以小岛1db以内,直视太阳时可以达到2*10^9db
因为图像传感器的量化区间在0-255,所以在曝光时,如果选择长曝光,那么我们测量的区间就是低光区域,而高光区域会因为过曝丢失细节
如果我们选择一个短时间曝光,那么我们则测量了高光区域
不同曝光程度的图像,展现了图像不同部分的细节,那么我们如果想看到更多细节,就把这些图像融合起来就可以了
我们再回顾整个成像过程,光子打到传感器上,传感器上受到的辐射强度最终并非线性的转化为图像信号,显示器亦非线性的将pixel value转化为光强,而人眼亦不是线性的对光强坐出响应。
成像系统对辐射的响应如下图,横轴为曝光,纵轴为像素值,它们的关系并非线性的
这里我们展示一个自然场景的辐射强度
如果将其线性显示出来,大部分细节都丢失了
这时我们就需要tone mapping就行矫正
在动态范围的转换中也是时时刻刻应用tone mapping进行转换的。
二、PhotoShop HDR
我们可以用PhotoShop来将多种不同曝光的图像合成成一幅高动态范围的图像
这里贴下原始链接:PhotoShop生成高动态范围图像
PhotoShop展示了hdr图像合成中一些比较重要的事项:首先不同曝光的图像必须是对齐的,然后修正阴影和运动物体、不要用相机自动挡和闪光灯等比较重要的细节、直方图均衡、色调曲线调整等,可以查看以上链接。
PhotoShop进行HDR图像合成有一些推荐的原则,比如3ev之内曝光的图像,2档就够了,图像曝光间隔1ev等都在PhotoShop的介绍文档中有说明。
三、HDR Plus
HDR Plus是很经典的HDR算法框架,写HDR Plus的大牛在入职Google之前开源了他的hdr plus,进入google之后进一步改进,有了2016年的paper hdr+,之后又有了19年的handheld-multiframe super-resolution和handheld mobile photography in very low light两篇著名的paper。目前有很多算法都是在hdr+的基础上做的,所以想单独抽出来详细介绍下。
图像获取:多曝光融合时,拍摄一张图乘以不同的dgain就可以了,拿不同dgain的图来fusion
对齐:采用 block match + refine 来进行图像对齐,对local motion有一定抵抗能力
融合:在频域完成,减少artifacts,并且可以去除高频噪声
关于HDR 图像的 Fusion 也是一个很重的Topic,HDR Fusion的方法有很多,核心思想是采用保边滤波将图像的细节抽离出来,对base和detail分别融合,可以采用金字塔控制权重,比较著名的算法有 Exposure Fusion 等。
四、Tone Mapping
不同的tone mapping算法可以产生不同的对比度增强效果,也可以提升细节,tone mapping也是很重要的,后面有空补下这部分。