事件相机(三)事件相机特征提取

事件相机作为一种新型相机,其特征提取方法仍然有许多需要探索的地方,目前主流的事件相机特征提取算法都还是将事件信息二维化或者三维化,并没有很好利用事件相机数据量小的特点,也都把一些关键信息丢掉了,这篇博客主要介绍目前常用的事件相机的特征提取方法。用这些方法编码事件,有一些适合给传统算法使用,有一些适合使用CNN进行处理。

阅读更多

事件相机(二)事件相机应用

前面一篇博客介绍了事件相机的原理和种类,这一篇博客来介绍一下事件相机的具体应用场景,主要也是对 Event Camera Survey的总结梳理。目前学界研究比较多的是 SLAM、Motion Object Detection、Deblur、HDR、高帧率视频等方向。传统方法在SLAM上使用较多,提取事件特征非常繁琐耗费算力,NN方面在处理事件上有一些探索,但都还没完全成熟。目前主要的产品应用还是手机Deblur、插帧和HDR上(目前只有手机的出货量有机会压低Event Camera的成本)。

阅读更多

事件相机(一)事件相机原理

事件相机(Event Camera)目前分为如下几类:DVS、ATIS、DAVIS等,这类基于事件的相机与传统基于全帧输出的CIS相机不同,具有高帧率、高动态、低延时、低带宽的优点,同时也面临着噪声、Flicker、带宽变化等不利因素。这篇博客重点介绍事件相机产生事件的原理,和目前事件相机的分类。

阅读更多

摄像头模组CRA参数

我们在摄像头模组规格书中和Sensor规格书中都会看到CRA这个光学参数。这里两个CRA的实际含义有所区别。镜头CRA的含义类似于FOV,Sensor CRA则关联传感器像素感光的量子效率。实际设计模组时这两个参数需要匹配。

阅读更多

光场相机原理

光有如下基本性质:强度、波长、相位、位置、传播方向、偏振等量子态。传统相机可以利用光学系统利用透明成像原理,捕捉光的位置和强度,加上带不同波长pattern的CFA,就可以用来捕捉颜色。但是传统光学系统,只能捕捉像平面上光源的位置和强度,无法捕捉光的传播方向。

我们所描述的光场,包含光的位置和传播方向,目前我们可以通过如下手段获取光场:微透镜阵列、相机阵列、掩膜等。光场相机目前是利用微透镜阵列来捕捉光场信息。这篇博客主要介绍光场相机的原理和发展。

阅读更多

车载图像传感器

未来的自动驾驶系统将主要依赖摄像头(博主认为激光雷达是目前视觉硬件和算法不完善条件下的替代品,目前使用激光雷达切实的降低了落地的难度,但是是否真的需要,尚未有定论),车载系统的图像传感器和之前在其它领域使用的传感器的选型指标有明显区别。

阅读更多

SNR和动态范围

SNR和动态范围是成像系统的两个重要指标,它们计算公式比较类似,都是信号和噪声幅度的比值,且的单位都是db,但是它们内在含义有着本质的区别,一般在图像传感器中,SNR用来衡量sensor某一时刻输出的图片的质量,并不是表达sensor能力。

阅读更多

图像质量评价(一)Imatest介绍与使用

目前接触到的测试图像质量的软件有imatest和dxo analyzer,图像质量的评测需要和测试卡、光源灯器材结合使用,用于测试的器材通常价格昂贵并且越贵越好。网上imatest的破解版软件比较好找,所以相对于dxo analyzer小白用户更多,所以这篇博客简单接受imatest的安装和基本使用。

这篇博客适合新手小白,因为博主也是新手小白,大神可以不用点进来看啦。

阅读更多

摩尔纹的产生和消除

现代图像传感器一般为面阵CMOS或CCD,当传感器像素空间频率和条纹空间频率接近时,就会出现摩尔纹。从原理上讲就是两个频率相近的波相互叠加,会产生差拍。

摩尔纹的消除比较困难,目前主要方法分为两类,第一类就是从设计上避免摩尔纹产生,将成像弥散圆设计的比像素要大,这样相当于降低成像的分辨率,来保证采样频率不会到达条纹频率;第二类方法就是后期通过算法来解掉摩尔纹,对于彩色图像,需要结合bayer pattern来处理,photoshop就有这样的功能。

阅读更多

机器视觉中的光源与打光

机器视觉主要解决四大问题:定位、测量、检测、识别。在机器视觉中打光和光源影响着系统的稳定性,比如在测量应用中,光照发生10%-20%的变化,就可能导致图像边缘偏移1-2个像素,这些问题在算法层面是不容易解决的。所以了解光源和打光非常重要

阅读更多