事件相机(一)事件相机原理

事件相机(Event Camera)目前分为如下几类:DVS、ATIS、DAVIS等,这类基于事件的相机与传统基于全帧输出的CIS相机不同,具有高帧率、高动态、低延时、低带宽的优点,同时也面临着噪声、Flicker、带宽变化等不利因素。这篇博客重点介绍事件相机产生事件的原理,和目前事件相机的分类。

一、事件产生原理

传统CIS相机全图进行曝光,然后通过读出电路控制电荷通过ADC读出,转变成数字图像。曝光时,pixel上电荷不断累积,到达满井容量的时候就会出现像素过曝。

事件相机的像素不断监测光照变化,每当光照变化达到一定幅度的时候,像素就会有一个信号输出,我们称之为事件,同时像素会被重置。从下图DVS像素结构中,我们可到光强信号经过一个差分比较器和上下两个reset level进行比较,超过阈值则输出事件。所以一个事件包含四个信息(x,y,t,p):位置,时间,极性(变亮或变暗)。

下图是在同一个图中花钟了DAVIS的pixel结构,它包含传统CIS相机结果APS,和产生事件的DVS pixel结构。

因为事件相机检测的是光照变化,所以比较难饱和,动态范围更高。

因为事件相机是有变化才回输出,所以占用带宽比CIS相机占用带宽更小,响应速度更快。

二、事件相机的分类

1. DVS相机

DVS:Dynamic Vision Sensor(动态视觉创阿奇),是事件相机的一种,智能输出事件信息。DVS对于不同亮度的环境,输出帧率不同,当光照教暗,光强变化较小时,DVS的输出可能会相对不灵敏。当外界温度过高、亮度过大的场合,传感器可能会被加热烧毁,无事件输出。

目前DVS主要规格是720p和1080p,对一般DVS而言,无法同时输出灰度图像,带宽教窄,性能较差。

2. ATIS相机

ATIS相机的诞生解决了DVS无法输出灰度图像的问题,但其输出灰度图像的时间采样率远不如输出事件的时间采样率,仅为50帧每秒左右。即便如此,仍可以通过事件的某些编码找出与灰度图像的对应关系。

DVS+CIS也可以产生图像-事件对,但是其需要经过外参矩阵进行校正。

ATIS相机的带宽较DVS增加约两倍左右,ATIS相机对于较暗、光线强度较弱的环境仍然灵敏度较低。

3. DAVIS相机

Dynamic and Active Pixel Vision Sensor。DAVIS相比如DVS何ATIS主要有两个不同,一个是DAVIS可以逐个pixel动态调节灵敏度,暗光提高灵敏度,强光减弱灵敏度,使得DAVIS输出的信号质量明显提高。另一个是逐像素一步输出,每个像素可以独立读取光照强度和光强变化,生成时间也是异步的,采用并联传感器,减小生成灰度图像对产生事件的延时。

目前事件相机的缺陷也很明显,像素尺寸大、分辨率低、难以量产、逻辑电路复杂、数据处理困难。时间相机技术也正处于快速迭代中,三星、CelePixel等企业也在开发自己的事件相机,时间相机种类会繁多起来。

事件相机现在成本还比较高,手机产品应用事件相机之后,事件相机的成本应该会显著下降,可能有机会拓展到其它电子消费类产品。

发表评论