事件相机作为一种新型相机,其特征提取方法仍然有许多需要探索的地方,目前主流的事件相机特征提取算法都还是将事件信息二维化或者三维化,并没有很好利用事件相机数据量小的特点,也都把一些关键信息丢掉了,这篇博客主要介绍目前常用的事件相机的特征提取方法。用这些方法编码事件,有一些适合给传统算法使用,有一些适合使用CNN进行处理。
事件相机(二)事件相机应用
前面一篇博客介绍了事件相机的原理和种类,这一篇博客来介绍一下事件相机的具体应用场景,主要也是对 Event Camera Survey的总结梳理。目前学界研究比较多的是 SLAM、Motion Object Detection、Deblur、HDR、高帧率视频等方向。传统方法在SLAM上使用较多,提取事件特征非常繁琐耗费算力,NN方面在处理事件上有一些探索,但都还没完全成熟。目前主要的产品应用还是手机Deblur、插帧和HDR上(目前只有手机的出货量有机会压低Event Camera的成本)。
事件相机(一)事件相机原理
事件相机(Event Camera)目前分为如下几类:DVS、ATIS、DAVIS等,这类基于事件的相机与传统基于全帧输出的CIS相机不同,具有高帧率、高动态、低延时、低带宽的优点,同时也面临着噪声、Flicker、带宽变化等不利因素。这篇博客重点介绍事件相机产生事件的原理,和目前事件相机的分类。
CNN直接处理YUV图像
在ISP pipe中,最后输出的一般都是YUV图像,YUV420的数据量是RGB数据量的两倍,我们在送入CNN处理的时候处理RGB图像居多,如果CNN也可以直接输入YUV图像,那么前级需要的带宽就会减为输入RGB图的一半。
YUVMultiNet提供了一种实用的结构来处理YUV图像。这篇博客只会介绍处理YUV的这种结构,如果对MultiNet感兴趣可以移步原文:https://arxiv.org/pdf/1904.05673.pdf
摄像头模组CRA参数
我们在摄像头模组规格书中和Sensor规格书中都会看到CRA这个光学参数。这里两个CRA的实际含义有所区别。镜头CRA的含义类似于FOV,Sensor CRA则关联传感器像素感光的量子效率。实际设计模组时这两个参数需要匹配。
Matlab工具箱处理esfr_chart
ESFR chart是iso12233:2014中提供的一种chart,这种chart可以测sfr,也可以分析颜色误差、信噪比、Tone,我们除了使用imatest、dxo工具等专业影像分析工具外,我们也可以用Matlab的工具箱来处理esfr chart,测量成像系统的清晰度、信噪比等指标。
在Raw域控制饱和度的方法
我们在给图像乘以一定的gain的时候,如果各个通道乘的gain不同,会改变颜色和饱和度,所以我们在乘以gain … 阅读更多
Matlab最优化(一)线性规划
这系列博客开坑介绍Matlab最优化工具箱,处理如下最优化问题:线性规划、整数规划、非线性规划、二次规划、多目标规划、图与网络优化等。
Visual Studio在直方图、曲线、图像调试插件
现在主流的IDE都广泛支持安装插件来实现各种有用的功能,在使用Visual Studio 2019/2017开发工具时,如果要在调试状态下查看C++中某个数组,像matlab或python的plot一样画出曲线和直方图,或者查看内存中的图像裸数据,都有插件可以实现,这里介绍三个免费的工具插件:Image Watch查看图像,ArrayPlotter将数组plot成曲线,Graphical Debugging(Plot Watch)查看直方图。
To the time to life, rather than to life in time Blaise … 阅读更多