CNN直接处理YUV图像

在ISP pipe中,最后输出的一般都是YUV图像,YUV420的数据量是RGB数据量的两倍,我们在送入CNN处理的时候处理RGB图像居多,如果CNN也可以直接输入YUV图像,那么前级需要的带宽就会减为输入RGB图的一半。

YUVMultiNet提供了一种实用的结构来处理YUV图像。这篇博客只会介绍处理YUV的这种结构,如果对MultiNet感兴趣可以移步原文:https://arxiv.org/pdf/1904.05673.pdf

阅读更多

摄像头模组CRA参数

我们在摄像头模组规格书中和Sensor规格书中都会看到CRA这个光学参数。这里两个CRA的实际含义有所区别。镜头CRA的含义类似于FOV,Sensor CRA则关联传感器像素感光的量子效率。实际设计模组时这两个参数需要匹配。

阅读更多

Visual Studio在直方图、曲线、图像调试插件

现在主流的IDE都广泛支持安装插件来实现各种有用的功能,在使用Visual Studio 2019/2017开发工具时,如果要在调试状态下查看C++中某个数组,像matlab或python的plot一样画出曲线和直方图,或者查看内存中的图像裸数据,都有插件可以实现,这里介绍三个免费的工具插件:Image Watch查看图像,ArrayPlotter将数组plot成曲线,Graphical Debugging(Plot Watch)查看直方图。

阅读更多

光场相机原理

光有如下基本性质:强度、波长、相位、位置、传播方向、偏振等量子态。传统相机可以利用光学系统利用透明成像原理,捕捉光的位置和强度,加上带不同波长pattern的CFA,就可以用来捕捉颜色。但是传统光学系统,只能捕捉像平面上光源的位置和强度,无法捕捉光的传播方向。

我们所描述的光场,包含光的位置和传播方向,目前我们可以通过如下手段获取光场:微透镜阵列、相机阵列、掩膜等。光场相机目前是利用微透镜阵列来捕捉光场信息。这篇博客主要介绍光场相机的原理和发展。

阅读更多

车载图像传感器

未来的自动驾驶系统将主要依赖摄像头(博主认为激光雷达是目前视觉硬件和算法不完善条件下的替代品,目前使用激光雷达切实的降低了落地的难度,但是是否真的需要,尚未有定论),车载系统的图像传感器和之前在其它领域使用的传感器的选型指标有明显区别。

阅读更多

SNR和动态范围

SNR和动态范围是成像系统的两个重要指标,它们计算公式比较类似,都是信号和噪声幅度的比值,且的单位都是db,但是它们内在含义有着本质的区别,一般在图像传感器中,SNR用来衡量sensor某一时刻输出的图片的质量,并不是表达sensor能力。

阅读更多

论文速览:Automatic Flare Spot Artifact Detection and Removal in Photographs

强光处会出现耀斑伪影,耀斑伪影问题常常出现在手机拍照中,由于镜头设计的缺陷,强光伪影很难从镜头模组设计上去除(iphone12promax的夜间伪影尤为强烈,基本导致拍摄画面不可用),于是耀斑伪影问题交给计算摄影来解决。

这篇博客介绍论文 : 照片中耀斑伪影的自动检测和去除 Automatic Flare Spot Artifact Detection and Removal in Photographs 。2019年 Journal of Mathematical Imaging and Vision。

阅读更多

论文速览:Optical Flow Estimation from a Single Motion-blurred Image

AAAI 2021接收论文,使用单帧模糊图像估计光流。论文地址:https://arxiv.org/pdf/2103.02996v1.pdf

论文主要有三个贡献:一是首次实现通过单帧运动模糊图像估计光流和运动,二是从视频序列中生成运动模糊图像和groundtruth来训练网络,三是将结果用于运动模糊去除和运动目标分割。

阅读更多