这篇博客主要介绍Codebook机制和CodeFormer，之前介绍了一种类似包含dictionary的算法 RestoreFormer和RestoreFormer++，他们有一些共通的机制，之前看VQ-VAE时候没有把Codebook梳理清楚，这里补补坑。
Python Windows Binary
收藏一些python包的unofficial下载地址，有的包我们直接安装有问题，或者编译安装有问题，可以来这些 … 阅读更多
Point Transformer论文笔记
挖坑，回填
图像修复笔记 RestoreFormer和RestoreFormer++
RestoreFormer收录于CVPR2022，其后续工作RestoreFormer++被收录于TPAMI2023，属于图像复原领域比较具有代表性的工作。这里需要一些transformer的前置知识，可以参见Vision Transformer.
ControlNet和IP-Adapter
在控制生成式模型时，ControlNet/Ip-adaptor比较有用，这边博客主要介绍ControlNet和 … 阅读更多
CVAT自动标注踩坑指北
CVAT的一些笔记和常用命令： deploy启动： docker compose -f docker-comp … 阅读更多
JetBrain Pycharm ImageWatch 留档
PyCharm的ImageWatch插件最近4.0版本开始收费了，收费版本的部分功能在之前版本中都是免费的，之 … 阅读更多
EfficientSAM论文笔记
开始之前需要一些前置知识，关于SAM请移步：SAM论文笔记， 关于ViT基础请移步：Vision Transformer，关于MAE请移步知乎：MAE(Masked Autoencoders) – 知乎 (zhihu.com)。
SAM的解码器已经足够快，但是图像编码器用的ViT还是很大，于是很多工作就在SAM基础上改进性能，进行轻量化，其中有一些比较出色的工作 比如 MobileSAM 、 FastSAM 和 EfficientSAM 等，已经将SAM推到了相当轻量。这篇博客主要是EfficientSAM的论文笔记。
自编码器AE、VAE、dVAE、VQ-VAE、VQ-VAE2
在多模态、生成模型中会用到几种类型的自编码器，通常具有Encoder、Decoder的结构。
DALL-E论文笔记
DALL-E是OpenAI的多模态与训练模型，有120亿参数，在2.5亿图像文本对上寻来呢完成，主要用于文生图后续有DALL-E2和DALL-E3，其中DALL-E和DALL-E2是可以找到源代码和权重的，后面的DALL-E3是闭源的。学习原理的话我们从DALL-E入手。
从GPT开始，zero-shot的想法开始成为自然语言处理的主流，而视觉领域能否zero-shot呢（训练一个大模型，后续使用不需要微调）？CLIP和DALL-E告诉我们视觉也可以zero-shot，所以文章的Tile是Zero-Shot Image Generation，DALL-E的名字灵感来自于著名画家Salvador Dali和墨西哥的墙Wall-E。
HSV颜色空间的运动判出
来自论文： iccv99.pdf (ed.ac.uk) Change Detection in Color I … 阅读更多
cmake引用pybind11
python调用C++用pybind11来封装接口比较方便易用，由于pybind11和python环境有匹配关系，cmake构建工程时先检测python环境，然后导入pybind11环境，这篇博客提供一个参考的cmakelists和一个简单的测试。
Python保存函数入参到文件，并从文件load再次调用
在部分调试场景下，我们需要保存函数运行的现场，方便直接从函数入口开始调试（而不是从头开始运行整个工程），我们通常会选择把函数入参保存到文件，再次调试时我们从文件运行即可。下面的代码段提供了一个功能，把函数所有入参保存到文件，然后重新从文件load函数入参，并调用函数。泛型入参都打包到字典，保证代码复用。