精细光流估计

这篇博客是论文:High Accuracy Optical Flow Estimation Based Theory for Warp 的笔记,论文为2004年,在2015年EpicFlow方法中引用。

在稠密光流估计中,最后一步往往是将光流图进行Refine和smooth,来确保光流在空间上连续,大部分区域符合刚体运动假设,同时也会处理遮挡,为遮挡区域提供连续的光流值。

在介绍的论文中,建立了一个能量函数,将光流图的优化和优化能量函数联系起来。论文偏向传统,但是也很经典,接下来一起看下做法。

阅读更多

Biratral Grid与HDRNET论文笔记

这篇博客介绍 Google 近年来在Photography方面一篇具有代表性的论文,Deep Bilateral Learning for Real-Time Image Enhancement

HDRNET的主要特征数数据分成两路,低分辨率偏向high level语义,这一路学习到的是一系列参数(分mesh的3×4 color matrix),学习参数需要的计算资源相对于学习输出图需要的资源更少,移动端部署更加方便。高分辨率一路更偏向low-level引导,学些引导图和参数apply。

阅读更多

Stable Diffusion 本地部署指南

部署stable diffusion ai绘图,需要 nvidia 显卡,至少需要6G显存(显存越大越好,高清图片需要更大显存)。这篇博客适用于一些有代码基础的同学(也就是不会手把手告诉怎么搭建python环境、clone代码),完全没接触过代码的同学可以找其它教程。

Stable Diffusion 官网地址: https://stability.ai/blog/stable-diffusion-public-release

Stable Diffusion 代码仓库: https://github.com/CompVis/stable-diffusion

模型下载(该链接建议从头阅读):https://stable-diffusion-art.com/models/#Stable_diffusion_v15

https://huggingface.co/CompVis/stable-diffusion

训练和使用Lora:https://zhuanlan.zhihu.com/p/624230991

webui:https://github.com/AUTOMATIC1111/stable-diffusion-webui

阅读更多

解马赛克中的判边插值

我们在解马赛克算法或者超分辨率算法中常常用边缘方向来指导插值,对demosaicing算法而言,边缘引导插值发生在整像素位置,对super resolution算法而言,边缘指导插值常常发生在亚像素位置。这篇博客简单总结解马赛克中一种常用的插值方法:自适应边缘插值算法。

除了自适应边缘插值,也给了一些常用的其它解马赛克算法的介绍:微软解马赛克算法、基于色差残差的插值算法、经典的GBTF、RI等算法给了链接索引。

阅读更多