光场相机原理

光有如下基本性质:强度、波长、相位、位置、传播方向、偏振等量子态。传统相机可以利用光学系统利用透明成像原理,捕捉光的位置和强度,加上带不同波长pattern的CFA,就可以用来捕捉颜色。但是传统光学系统,只能捕捉像平面上光源的位置和强度,无法捕捉光的传播方向。

我们所描述的光场,包含光的位置和传播方向,目前我们可以通过如下手段获取光场:微透镜阵列、相机阵列、掩膜等。光场相机目前是利用微透镜阵列来捕捉光场信息。这篇博客主要介绍光场相机的原理和发展。

阅读更多光场相机原理

车载图像传感器

未来的自动驾驶系统将主要依赖摄像头(博主认为激光雷达是目前视觉硬件和算法不完善条件下的替代品,目前使用激光雷达切实的降低了落地的难度,但是是否真的需要,尚未有定论),车载系统的图像传感器和之前在其它领域使用的传感器的选型指标有明显区别。

阅读更多车载图像传感器

SNR和动态范围

SNR和动态范围是成像系统的两个重要指标,它们计算公式比较类似,都是信号和噪声幅度的比值,且的单位都是db,但是它们内在含义有着本质的区别,一般在图像传感器中,SNR用来衡量sensor某一时刻输出的图片的质量,并不是表达sensor能力。

阅读更多SNR和动态范围

论文速览:Automatic Flare Spot Artifact Detection and Removal in Photographs

强光处会出现耀斑伪影,耀斑伪影问题常常出现在手机拍照中,由于镜头设计的缺陷,强光伪影很难从镜头模组设计上去除(iphone12promax的夜间伪影尤为强烈,基本导致拍摄画面不可用),于是耀斑伪影问题交给计算摄影来解决。

这篇博客介绍论文 : 照片中耀斑伪影的自动检测和去除 Automatic Flare Spot Artifact Detection and Removal in Photographs 。2019年 Journal of Mathematical Imaging and Vision。

阅读更多论文速览:Automatic Flare Spot Artifact Detection and Removal in Photographs

曝光图像融合算法之DeepFuse

曝光图像融合通常的应用场景是HDR,传统的图像融合算法分为两类,一类是像素级的图像融合,通过将图像不同频段分离,在像素层及进行融合,另一类是基于变换域的方法,把图像变换到频率、小波域进行图像融合,最后再反变换回来,有些类似于同态滤波的形式。博主之前介绍过Mertens Exposure Fusion、Pyramid Blending、Possion Blending等都是经典的传统图像融合算法。

传统图像融合算法在融合曝光程度差异小的图像时非常有效,但是图像之间曝光差异程度大的时候融合结果就会出现瑕疵,事实上极端曝光情况下的图像融合具有非常大的挑战,这篇博客介绍一种基于无监督的图片融合算法DeepFuse,看名字就知道这是一种CNN的算法实现。

阅读更多曝光图像融合算法之DeepFuse

保边滤波之选择性模糊

博主之前的博客中介绍了数种保边滤波算法,它们滤波器设计的共性就是,同时考虑空间信息和灰度信息,这次要介绍的选择性滤波也是一样。选择性滤波是在一定空间领域内,选择灰度值范围进行加权平均(这一点和surface blur是一样的,与surfaceblur的不同是,surface blur是根据灰度值是否接近计算权重,选择性模糊是根据像素数量计算权重)。所以选择性模糊的一大好处就是,知道领域的直方图就可以完成滤波计算了,核心问题变成直方图统计之后,算法复杂度就大大降低了,在领域半径急剧增加时,可以体现优势。

阅读更多保边滤波之选择性模糊

自动对比度和自动伽马

在图像处理后期,常常会拿Photoshop做实验,所以开始研究Photoshop里面的算法。Photoshop中的算法都已经商业化,有些甚至原理非常简单,但是简单并不代表不好用,所以记录下。

自动对比度的设置在 调整->色阶 中,我们可以看到,算法主要有三个参数,阴影、中间调、高光。

阅读更多自动对比度和自动伽马

加权中值滤波

中值滤波是经典的非线性滤波,教材中都会介绍其处理椒盐噪声的作用。而加权中值滤波就是在窗口内的每一个像素都乘以一个相应的权值,然后用加权后的值进行排序,累加权重值等于所有权重值的一半使停止,使用此时的像素值替换中心像素,像素的权重通常是相似度,这种改进可以滤除更多形态的噪声。

通常我们使用中值滤波都会非常谨慎,因为中值滤波非常慢,不断的排序对现在的GPU架构非常不友好,那么加权中值滤波使用时的核心就是速度考量了。这篇博客介绍一篇论文:100+ Times FasterWeighted Median Filter。

阅读更多加权中值滤波