在深度学习中，数据仿真一直是重要的topic，Unreal（虚幻引擎）是Epic主导的渲染引擎，常被用于游戏、场景设计、渲染计算，也可以被用于深度学习中的数据仿真，其中有一些比较有名的基于Unreal开发的数据仿真平台，比如CARLA（http://carla.org/）、AirSim等优秀的仿真平台被用于自动驾驶、机器人自动控制等。这篇博客也是介绍一个这样的项目UnrealCV，简单介绍下unrealcv的部署和使用。实际上UnrealCV没有CARLA和AirSim强大（主要是没有运动模型和碰撞检测），所以简单介绍仅供参考。
月度归档： 2021年12月
Pytorch使用2d卷积来实现3d卷积
我们在深度学习模型转换和推理过程中常常会遇到算子不被工具链支持的情况，这时我们可以通过其它算子来等价实现我们想要的算子，比如3d卷积不被工具链支持，我们可以将其拆分成2d卷积，拆分之后我们需要进行权重字典的拆分。这篇博客贴一下pytorch的实现。
远程虚拟环境使用简记
我们在深度学习训练时常常需要远程使用虚拟环境，对初学者有一些使用指南和技巧，包括conda、指定显卡、tensorboard、pycharm远程、nohup避免任务中断等，这篇博客做简单记录。
Vision Transformer
Transformer从NLP发展到视觉，开始改变视觉问题的处理方式，SwinTransformer和ViT都是典型的网络结构，典型的Transformer结构中大量使用Multi-Head Attention。ViT基于经典的Transformer模型，采用图像分块的方式将图像处理的问题转化为seq2seq的问题，这篇博客会从Attention开始，介绍到ViT。
神经网络训练量化（QAT）基本概念
QAT（Quantization Aware Training）量化感知训练是神经网络优化模型容量的重要方法，关系到模型精度和性能。pytorch对模型量化支持有三种方式：模型训练完毕后的动态量化、模型训练完毕后的静态量化、模型训练中开启量化QAT。这篇博客主要基于pytorh介绍QAT的基本概念。