a blog driven by interest～
开始之前需要一些前置知识，关于SAM请移步：SAM论文笔记， 关于ViT基础请移步：Vision Transformer，关于MAE请移步知乎：MAE(Masked Autoencoders) – 知乎 (zhihu.com)。
SAM的解码器已经足够快，但是图像编码器用的ViT还是很大，于是很多工作就在SAM基础上改进性能，进行轻量化，其中有一些比较出色的工作 比如 MobileSAM 、 FastSAM 和 EfficientSAM 等，已经将SAM推到了相当轻量。这篇博客主要是EfficientSAM的论文笔记。
这篇博客是论文：High Accuracy Optical Flow Estimation Based Theory for Warp 的笔记，论文为2004年，在2015年EpicFlow方法中引用。
在稠密光流估计中，最后一步往往是将光流图进行Refine和smooth，来确保光流在空间上连续，大部分区域符合刚体运动假设，同时也会处理遮挡，为遮挡区域提供连续的光流值。
在介绍的论文中，建立了一个能量函数，将光流图的优化和优化能量函数联系起来。论文偏向传统，但是也很经典，接下来一起看下做法。
两张图片就可以生成一小段视频，效果很不错，可以直接在网站上用demo玩儿一玩儿。
网站和源码：https://film-net.github.io/
Google AI Blog：https://ai.googleblog.com/2022/10/large-motion-frame-interpolation.html
各种不同的卷积滤波核有不同的频率响应特性，我们以bicubic插值kernel为例，用Matlab绘制出频谱图，可以看出卷积后哪些频率成分会被加强，哪些频率成分会被减弱。
首先分享一个介绍图像傅立叶变换的资料：https://www.cs.unm.edu/~brayer/vision/fourier.html
Multi Scale DCT Denoise（MSDCT）是经典的传统降噪算法，这篇博客予以简单介绍。原始论文：https://www.ipol.im/pub/art/2017/201/article_lr.pdf， C++源码，可以在ipol网站找到：https://www.ipol.im/pub/art/2017/201/?utm_source=doi
我们在解马赛克算法或者超分辨率算法中常常用边缘方向来指导插值，对demosaicing算法而言，边缘引导插值发生在整像素位置，对super resolution算法而言，边缘指导插值常常发生在亚像素位置。这篇博客简单总结解马赛克中一种常用的插值方法：自适应边缘插值算法。
除了自适应边缘插值，也给了一些常用的其它解马赛克算法的介绍：微软解马赛克算法、基于色差残差的插值算法、经典的GBTF、RI等算法给了链接索引。
ESFR chart是iso12233:2014中提供的一种chart，这种chart可以测sfr，也可以分析颜色误差、信噪比、Tone，我们除了使用imatest、dxo工具等专业影像分析工具外，我们也可以用Matlab的工具箱来处理esfr chart，测量成像系统的清晰度、信噪比等指标。
我们在给图像乘以一定的gain的时候，如果各个通道乘的gain不同，会改变颜色和饱和度，所以我们在乘以gain … 阅读更多
强光处会出现耀斑伪影，耀斑伪影问题常常出现在手机拍照中，由于镜头设计的缺陷，强光伪影很难从镜头模组设计上去除（iphone12promax的夜间伪影尤为强烈，基本导致拍摄画面不可用），于是耀斑伪影问题交给计算摄影来解决。
这篇博客介绍论文 ： 照片中耀斑伪影的自动检测和去除 Automatic Flare Spot Artifact Detection and Removal in Photographs 。2019年 Journal of Mathematical Imaging and Vision。
BEEPS，即双核书边缘保护平滑滤波器（Bi-Exponential Edge-Preserving Smoo … 阅读更多
