精细光流估计

这篇博客是论文:High Accuracy Optical Flow Estimation Based Theory for Warp 的笔记,论文为2004年,在2015年EpicFlow方法中引用。

在稠密光流估计中,最后一步往往是将光流图进行Refine和smooth,来确保光流在空间上连续,大部分区域符合刚体运动假设,同时也会处理遮挡,为遮挡区域提供连续的光流值。

在介绍的论文中,建立了一个能量函数,将光流图的优化和优化能量函数联系起来。论文偏向传统,但是也很经典,接下来一起看下做法。

阅读更多

Biratral Grid与HDRNET论文笔记

这篇博客介绍 Google 近年来在Photography方面一篇具有代表性的论文,Deep Bilateral Learning for Real-Time Image Enhancement

HDRNET的主要特征数数据分成两路,低分辨率偏向high level语义,这一路学习到的是一系列参数(分mesh的3×4 color matrix),学习参数需要的计算资源相对于学习输出图需要的资源更少,移动端部署更加方便。高分辨率一路更偏向low-level引导,学些引导图和参数apply。

阅读更多

Huggingface简单调用bert模型

Hugging face起初是一家总部位于纽约的聊天机器人初创服务商,聊天机器人服务没搞起来,但是hugging face在github上开源的transformers库大火,已经成为机器学习届最活跃的开源社区。这篇博客简单介绍下怎样从hugggingface获取数据和使用模型。

hugging face的官方网站:http://www.huggingface.co./ 。 我们基本可以从这里捞到很多数据集、预训练模型、课程 和 文档。

阅读更多

Stable Diffusion 本地部署指南

部署stable diffusion ai绘图,需要 nvidia 显卡,至少需要6G显存(显存越大越好,高清图片需要更大显存)。这篇博客适用于一些有代码基础的同学(也就是不会手把手告诉怎么搭建python环境、clone代码),完全没接触过代码的同学可以找其它教程。

Stable Diffusion 官网地址: https://stability.ai/blog/stable-diffusion-public-release

Stable Diffusion 代码仓库: https://github.com/CompVis/stable-diffusion

模型下载(该链接建议从头阅读):https://stable-diffusion-art.com/models/#Stable_diffusion_v15

https://huggingface.co/CompVis/stable-diffusion

训练和使用Lora:https://zhuanlan.zhihu.com/p/624230991

webui:https://github.com/AUTOMATIC1111/stable-diffusion-webui

阅读更多

递归最小二乘法

线性最小二乘法(LMS)在应用时所有数据都是一次全部测量好再进行求解。但实际中有时存在测量数据时在想获得的,即时刻获得测量数据,每次获得新的测量数据后,需要进行最小二乘法以更新状态。如果每次更新都采用最小二乘法伪逆解进行更新,计算次数很多,计算量很大,且需要保存测量数据。我们可以采用递归的方式,递归最小二乘法(RLS,Recursive Least Squares),每次对新测量结果进行修正,减少计算量和存储量。

阅读更多

Apple Silicon(M1芯片)原生Matlab beta测试版

Matlab终于开始支持M1原生运行,测试版本下载地址需要左侧登陆后查看:

https://www.mathworks.com/support/apple-silicon-r2022b-beta.html

https://www.mathworks.com/support/apple-silicon-r2022b-beta-conf.html

Beta版本有效期到2023年6月30日,需要先安装JDK,再安装Matlab App,目前Python接口还不可用,部分插件需要手动安装,其它功能正常,已经支持了常用到的工具箱。

阅读更多