论文速览:Automatic Flare Spot Artifact Detection and Removal in Photographs

强光处会出现耀斑伪影,耀斑伪影问题常常出现在手机拍照中,由于镜头设计的缺陷,强光伪影很难从镜头模组设计上去除(iphone12promax的夜间伪影尤为强烈,基本导致拍摄画面不可用),于是耀斑伪影问题交给计算摄影来解决。

这篇博客介绍论文 : 照片中耀斑伪影的自动检测和去除 Automatic Flare Spot Artifact Detection and Removal in Photographs 。2019年 Journal of Mathematical Imaging and Vision。

阅读更多论文速览:Automatic Flare Spot Artifact Detection and Removal in Photographs

曝光图像融合算法之DeepFuse

曝光图像融合通常的应用场景是HDR,传统的图像融合算法分为两类,一类是像素级的图像融合,通过将图像不同频段分离,在像素层及进行融合,另一类是基于变换域的方法,把图像变换到频率、小波域进行图像融合,最后再反变换回来,有些类似于同态滤波的形式。博主之前介绍过Mertens Exposure Fusion、Pyramid Blending、Possion Blending等都是经典的传统图像融合算法。

传统图像融合算法在融合曝光程度差异小的图像时非常有效,但是图像之间曝光差异程度大的时候融合结果就会出现瑕疵,事实上极端曝光情况下的图像融合具有非常大的挑战,这篇博客介绍一种基于无监督的图片融合算法DeepFuse,看名字就知道这是一种CNN的算法实现。

阅读更多曝光图像融合算法之DeepFuse

保边滤波之选择性模糊

博主之前的博客中介绍了数种保边滤波算法,它们滤波器设计的共性就是,同时考虑空间信息和灰度信息,这次要介绍的选择性滤波也是一样。选择性滤波是在一定空间领域内,选择灰度值范围进行加权平均(这一点和surface blur是一样的,与surfaceblur的不同是,surface blur是根据灰度值是否接近计算权重,选择性模糊是根据像素数量计算权重)。所以选择性模糊的一大好处就是,知道领域的直方图就可以完成滤波计算了,核心问题变成直方图统计之后,算法复杂度就大大降低了,在领域半径急剧增加时,可以体现优势。

阅读更多保边滤波之选择性模糊

自动对比度和自动伽马

在图像处理后期,常常会拿Photoshop做实验,所以开始研究Photoshop里面的算法。Photoshop中的算法都已经商业化,有些甚至原理非常简单,但是简单并不代表不好用,所以记录下。

自动对比度的设置在 调整->色阶 中,我们可以看到,算法主要有三个参数,阴影、中间调、高光。

阅读更多自动对比度和自动伽马

限对比度自适应直方图均衡CLAHE

CLAHE,全称 Contrast Limited Adaptive Histogram Equalization,是一种用来做Tone Mapping的自适应直方图均衡算法,已经集成在opencv和matlab中。

在介绍CLAHE之前,先介绍下HE(直方图均衡)、AHE(自适应直方图均衡算法)、CLHE算法。

阅读更多限对比度自适应直方图均衡CLAHE

图像融合(三)Exposure Fusion

上一篇博客介绍了Laplace Pyramid进行fusion,其实也就介绍了Exposure Fusion的基本原理。Mertens Exposure Fusion 是HDR图像合成上非常经典的算法。Exposure Fusion的多尺度图像融合同样借助Laplace Pyramid分解和重建,特别强调的是编辑laplace金字塔的过程,在计算亮度权重、对比度权重、曝光权重后将构建权重的高斯金字塔,然后进行拉普拉斯金字塔的重建,最后得到一张各部分曝光都很良好的图像。

阅读更多图像融合(三)Exposure Fusion

图像融合(一)Poisson Blending

泊松融合(Poisson Blending)又作 Seamless clone,用于将两幅图像“无缝”的融合起来,基本原理就是最优化一个方程,尽量在和base边界处保持相关的亮度,同时保留剪切过来图像的梯度,这样看起来两张图像就“无缝”拼合在一起了。因为该工具在opencv中已经存在,所以我们可以直接使用opencv体验其效果。这篇博简单介绍原理,以及感受效果。

阅读更多图像融合(一)Poisson Blending

视频帧间插值(一)Softmax Splatting for Video Frame Interpolation

视频插帧是计算机视觉许多应用中的一个传统问题,splatting transformer network 技术已被广泛用于两幅图像之间的新图像合成:非监督深度估计,非监督光流预测,光流预测,新视角合成,视频插帧,视频增强,视频编辑、视频压缩、去除视频运动模糊中。视频插帧方法被分为flow-based、kernel-based、phase-based。这些方法都是估计出两帧之间的光流场,一般通过warp前一帧来得到中间帧。视频插帧在某些场景下特别困难,比如场景和物体在不断运动和变化,或者存在遮挡时,插帧问题会同时存在多个解。

这篇博客介绍CVPR2020的一篇论文,是flow-based的方法。这篇文章主要贡献有两个,一是使用了softmax splatting的方法来处理不同源像素warp之后到同一点的问题,二是使用了特征金字塔,应该是对大位移有更鲁棒。

阅读更多视频帧间插值(一)Softmax Splatting for Video Frame Interpolation

保边滤波

自然图像都存在噪声,噪声和边缘在局部方差方面表现相似,一般的滤波器无法区分噪声和边缘,于是对其统一处理,因此很多情况下,滤波的同时,边缘也被处理模糊掉了。保边滤波器(Edge Preserving Filter)是指在滤波过程中能够有效的保留图像中的边缘信息的一类滤波器。

常见的保边滤波器有如下几种:双边滤波(Bilateral filter)、引导滤波(GuidedFilter)、加权最小二乘法滤波器(WLS)、非均匀局部滤波器(NLM)、双指数边缘平滑滤波器(BiExponentialEPF)、选择性模糊和表面滤波。

阅读更多保边滤波