a blog driven by interest～
通过视觉测量深度的方法目前分为如下几种，一种是双目立体匹配，该方法的好处是有一个明确的物理模型，存在视差的概念，深度信息是根据时差转换得到，另一种是单目运动，该方法也可以看成一种特殊的双目模型或者多目模型，只不过它是时间上的多目，还有一种方法是完全的单目深度估计，直接由网络端到端给出深度，单目网络在可解释性和可移植性上不如双目和单目运动，但是其效果没有比双目差太多。
随着近年来车载系统视觉方案不断完善，立体视觉问题不断收敛，学界出现了一批轻量级网络，效果还不差，这篇博客主要介绍一个轻量级双目立体匹配网络mobilestereonet，后文简称MSN。博主理解MSN主要贡献还是在与对网络模型的压缩，骨干和后面的特征提取大量使用深度可分离卷积，而论文中提及的一些网络结构，经过博主实验下来，这些并不重要（比如3d卷积用分组卷积替代，网络性能并没有明显降低），直接感受是，参数确实更少，计算也更少。
在ISP pipe中，最后输出的一般都是YUV图像，YUV420的数据量是RGB数据量的两倍，我们在送入CNN处理的时候处理RGB图像居多，如果CNN也可以直接输入YUV图像，那么前级需要的带宽就会减为输入RGB图的一半。
YUVMultiNet提供了一种实用的结构来处理YUV图像。这篇博客只会介绍处理YUV的这种结构，如果对MultiNet感兴趣可以移步原文：https://arxiv.org/pdf/1904.05673.pdf
曝光图像融合通常的应用场景是HDR，传统的图像融合算法分为两类，一类是像素级的图像融合，通过将图像不同频段分离，在像素层及进行融合，另一类是基于变换域的方法，把图像变换到频率、小波域进行图像融合，最后再反变换回来，有些类似于同态滤波的形式。博主之前介绍过Mertens Exposure Fusion、Pyramid Blending、Possion Blending等都是经典的传统图像融合算法。
传统图像融合算法在融合曝光程度差异小的图像时非常有效，但是图像之间曝光差异程度大的时候融合结果就会出现瑕疵，事实上极端曝光情况下的图像融合具有非常大的挑战，这篇博客介绍一种基于无监督的图片融合算法DeepFuse，看名字就知道这是一种CNN的算法实现。
darknet是一个C语言实现的深度学习框架，几乎不依赖任何库，安装编译都很方便，训练好的模型可以直接在opencv上部署，堪称业界良心。这篇博客主要包含目标检测数据标注和预处理、yolo_v3代码编译、模型训练、在opencv上部署，都是简要的笔记。
大概两三年前，博主有发过一篇综述：深度学习综述（二）深度学习用于目标检测 ，那时候主要是Fast-RCNN系列到yolo和ssd系列，之后很久不务正业没有跟进了。最近又开始跟进下，摘抄些笔记，没啥有深度的东西。
梳理下目标检测算法，大致经历了如下发展： 传统机器学习方法(slide window+feature extraction) -> Region Proposal + CNN -> Anchor Based CNN -> Anchor Free CNN。本文简单介绍Anchor Base方法中最著名的YOLO和SSD，Anchor Free方法中的CornerNet。
在图像分类应用下，诞生了不少经典网络。ShuffleNet以速度快和便于移植而著称，这篇博客将简单介绍ShuffleNet，以及Pytorch下模型的训练、保存、微调、生成CaffeModle。
2019年的时针开始转动，在CNN、RNN、LSTM、GAN、GNN、CAP的潮起潮落中，带来了这篇博客。放上一篇参考引用。 其实个人认为理解GNN的核心问题就是理解图怎么做傅里叶变换。CNN的核心操作时卷积，GNN也是。CNN计算二维矩阵的卷积，GNN计算图的卷积。那么我们定义好图的傅里叶变换和图的卷积就可以了，其媒介就是图的拉普拉斯矩阵。
好了，这篇博客将简要介绍图神经网络的原理，但是不会设计太多数学细节（因为博主数学很烂啦）。通过理解图神经网络的卷积操作，来理解其流程，再会配合代码来做简单解释。
级联CNN提出与2015年，在目标检测领域有着很成功的应用。好久好久好久没看过目标检测了，今天被问到这个，临时翻论文到源码，发现还是很容易理解的。只是好久好久好久没玩Caffe，发现Caffe现在丰富了太多。这篇博客介绍的MTCNN人脸检测，就是基于Caffe平台的，与级联CNN有关，清楚所有技术细节之后，决定写一篇博客记录一下。
FCN语义分割算法已经在很多主流深度学习平台上实现了，包括Caffe、TenserFlow、MatConvNet等。这篇博客主要介绍如何在MatConvNet上运行起FCN语义分割，包括CPU和GPU版本。博主的平台是Matlab2017a+Cuda8.0。
C-COT算法是DCF（KCF）算法的又一重要演进算法，该算法在VOT-16上取得了不错的成绩。C-COT使用深度神经网络VGG-net提取特征，通过立方插值，将不同分辨率的特征图插值到连续空间域，再应用Hessian矩阵可以求得亚像素精度的目标位置（就和SURF、SIFT里面获取亚像素精度特征点的思想类似）。确定插值方程之后，还解决了在连续空间域进行训练的问题。C-COT的代码结合了deepSRDCF、SRDCFdeno的样本进化，和C-COT进行插值等算法。这里面博主也有许多地方没有理解，毕竟Martin的数学功底大家都明白，这里就当时写一下自己的理解了。文章代码
刚有一个idea，用语义分割来做图像跟踪，搜了一下发现已经有人做过了，细细的看了下Paper，和自己相当还不一样。FCN是深度学习语义分割的鼻祖，而这片Paper的名字叫做FCNT，看了之后发现我误会了，此FCN非彼FCN，由于是比较早的算法了，性能和MEEM处于同一层次，不过考虑到这是深度学习方法用于跟踪的重要实践，还是做个笔记好了。
博主认为图像跟踪过程的本质就是语义的跟踪（我是这么理解的），所以，使用语义分割来完成图像跟踪是自然而然想到的。事实上深度学习用于图像跟踪，也就是利用了其深层特征中的语义信息。这篇博客就主要介绍这篇文献：Visual Tracking with Fully Convolutional Networks。
图像跟踪一直都是计算机视觉领域的难题，事先知道第一帧中的目标位置，然后需要在后续帧中找到目标。先验知识少，目标被遮挡、目标消失、运动模糊、目标和环境的剧烈变化、目标的高速运动、相机的抖动都会对目标跟踪造成影响，图像跟踪一直都是CV领域的难题。
深度学习用于图像跟踪有两大要解决的问题，一是图像跟踪一般使用在线学习，很难提供大量样本集，二是深度学习使用CNN时，由于卷积池化，最后一层的输出丢失了位置信息，而图像跟踪就是要输出目标的位置。
2013年以来，深度学习开始用于目标跟踪，并且为这些问题提供了一些解决思路。这篇博客首先阐述图像跟踪今年来的研究进展，然后再介绍深度学习用于图像跟踪近年来的研究，最后附上一些学习资料和相关网站。
MatConvNet是一个基于Matlab的深度学习框架，在计算部分，最底层混编了C/C++或者CUDA C，这使得其速度并不是特别慢。就使用体验来说，MatConvNet是非常优秀的，借助于Matlab，定义网络，使用现有模型以及数据可视化都非常方便。
由于MatConvNet文档和Demo都比较完备，所以这篇博客主要介绍一些GPU的配置细节。
TensorFlow的基本数据单元是tensor（张量），如何讲tensor的值取出，又如何在运算过程中向tensor中传入值呢？Fetch与Feed是TensorFlow中关于数据存取的术语，博主就由代码来简要介绍下Fetch与Feed。
TensorFlow使用图来表示计算任务，图中的节点被称之为op(operation的缩写)。TensorFlow程序通常被组织成一个构建阶段，和一个执行阶段。在构建阶段，op的执行步骤被描述成一个图。在执行阶段，使用会话执行图中的op（op就是节点）。简单的说，先给出描述，只在run()方法中执行操作。
SyntaxNet由TensorFlow实现，本月Google正式开源了这一框架（GitHub），关于这一框架，我们可以参考相关论文。在准备完NPL的基础知识后，博主将在这篇博客介绍这篇论文：Global Normalized Transition-Based Neural Network。该架构的资料还来自谷歌研究博客。