年度归档： 2021年

UnrealCV部署使用指南

作者

在深度学习中，数据仿真一直是重要的topic，Unreal（虚幻引擎）是Epic主导的渲染引擎，常被用于游戏、场景设计、渲染计算，也可以被用于深度学习中的数据仿真，其中有一些比较有名的基于Unreal开发的数据仿真平台，比如CARLA（http://carla.org/）、AirSim等优秀的仿真平台被用于自动驾驶、机器人自动控制等。这篇博客也是介绍一个这样的项目UnrealCV，简单介绍下unrealcv的部署和使用。实际上UnrealCV没有CARLA和AirSim强大（主要是没有运动模型和碰撞检测），所以简单介绍仅供参考。

阅读更多

Pytorch使用2d卷积来实现3d卷积

作者

我们在深度学习模型转换和推理过程中常常会遇到算子不被工具链支持的情况，这时我们可以通过其它算子来等价实现我们想要的算子，比如3d卷积不被工具链支持，我们可以将其拆分成2d卷积，拆分之后我们需要进行权重字典的拆分。这篇博客贴一下pytorch的实现。

阅读更多

Vision Transformer

作者

Transformer从NLP发展到视觉，开始改变视觉问题的处理方式，SwinTransformer和ViT都是典型的网络结构，典型的Transformer结构中大量使用Multi-Head Attention。ViT基于经典的Transformer模型，采用图像分块的方式将图像处理的问题转化为seq2seq的问题，这篇博客会从Attention开始，介绍到ViT。

阅读更多

神经网络训练量化（QAT）基本概念

作者

QAT（Quantization Aware Training）量化感知训练是神经网络优化模型容量的重要方法，关系到模型精度和性能。pytorch对模型量化支持有三种方式：模型训练完毕后的动态量化、模型训练完毕后的静态量化、模型训练中开启量化QAT。这篇博客主要基于pytorh介绍QAT的基本概念。

阅读更多

事件相机（三）事件相机特征提取

作者

事件相机作为一种新型相机，其特征提取方法仍然有许多需要探索的地方，目前主流的事件相机特征提取算法都还是将事件信息二维化或者三维化，并没有很好利用事件相机数据量小的特点，也都把一些关键信息丢掉了，这篇博客主要介绍目前常用的事件相机的特征提取方法。用这些方法编码事件，有一些适合给传统算法使用，有一些适合使用CNN进行处理。

阅读更多

事件相机（二）事件相机应用

作者

前面一篇博客介绍了事件相机的原理和种类，这一篇博客来介绍一下事件相机的具体应用场景，主要也是对 Event Camera Survey的总结梳理。目前学界研究比较多的是 SLAM、Motion Object Detection、Deblur、HDR、高帧率视频等方向。传统方法在SLAM上使用较多，提取事件特征非常繁琐耗费算力，NN方面在处理事件上有一些探索，但都还没完全成熟。目前主要的产品应用还是手机Deblur、插帧和HDR上（目前只有手机的出货量有机会压低Event Camera的成本）。

阅读更多

事件相机（一）事件相机原理

作者

事件相机（Event Camera）目前分为如下几类：DVS、ATIS、DAVIS等，这类基于事件的相机与传统基于全帧输出的CIS相机不同，具有高帧率、高动态、低延时、低带宽的优点，同时也面临着噪声、Flicker、带宽变化等不利因素。这篇博客重点介绍事件相机产生事件的原理，和目前事件相机的分类。

阅读更多

CNN直接处理YUV图像

作者

在ISP pipe中，最后输出的一般都是YUV图像，YUV420的数据量是RGB数据量的两倍，我们在送入CNN处理的时候处理RGB图像居多，如果CNN也可以直接输入YUV图像，那么前级需要的带宽就会减为输入RGB图的一半。

YUVMultiNet提供了一种实用的结构来处理YUV图像。这篇博客只会介绍处理YUV的这种结构，如果对MultiNet感兴趣可以移步原文：https://arxiv.org/pdf/1904.05673.pdf

阅读更多

摄像头模组CRA参数

作者

我们在摄像头模组规格书中和Sensor规格书中都会看到CRA这个光学参数。这里两个CRA的实际含义有所区别。镜头CRA的含义类似于FOV，Sensor CRA则关联传感器像素感光的量子效率。实际设计模组时这两个参数需要匹配。

阅读更多