CLIP论文笔记

作者

CLIP（Contrastive Language-Image Pre-training），OpenAI给的title：Connecting text and images，被用作文本监督信号来训练可迁移的视觉模型。CLIP是一种基于对比学习的多模态模型，训练数据是文本-图像对（一张图像和其对应的文本描述），模型能够学习到文本-图像对的匹配关系。以下内容搜集自论文、知乎、OpenAI Blog Page （一手资料参阅以下链接的openai blog）

阅读更多

cmake引用pybind11

作者

python调用C++用pybind11来封装接口比较方便易用，由于pybind11和python环境有匹配关系，cmake构建工程时先检测python环境，然后导入pybind11环境，这篇博客提供一个参考的cmakelists和一个简单的测试。

阅读更多

Python保存函数入参到文件，并从文件load再次调用

作者

在部分调试场景下，我们需要保存函数运行的现场，方便直接从函数入口开始调试（而不是从头开始运行整个工程），我们通常会选择把函数入参保存到文件，再次调试时我们从文件运行即可。下面的代码段提供了一个功能，把函数所有入参保存到文件，然后重新从文件load函数入参，并调用函数。泛型入参都打包到字典，保证代码复用。

阅读更多

香港REITs(一)发展

作者

不动产投资信托（Real Estate Investment Trusts，缩写REITs）又称房托基金、地产信托，于1960年发源于美国，是一种通过发行收益信托凭证/股份汇集资金，由管理人进行房地产投资、经营和管理，并将投资总和收益分配给投资者的证券。

对于投资者而言，REITs由不动产的证券话以及许多投资人的资金募集，使得没有庞大资本的一般投资人也能以降低门槛参与不动产市场，活动不动产市场交易、租金与增值所带来的收益。同时投资人不需要实质持有不动产标的，就可在正确市场交易，因此市场流通性由于不动产。

阅读更多

Pyside6 Graphview鼠标框选

作者

上一篇博客给了一个QImageView类，其中实现了图片浏览器的基础鼠标操作，在此基础之上，进一步实现鼠标框选的操作。具体实现时，我们先构建一个场景类QImageScene，用于管理场景中的Item，场景中的Item主要有两类，一类是图像，另一类是选择框。对于选择框的操作，我们把鼠标事件定义在QImage Scene类中。

阅读更多

精细光流估计

作者

这篇博客是论文：High Accuracy Optical Flow Estimation Based Theory for Warp 的笔记，论文为2004年，在2015年EpicFlow方法中引用。

在稠密光流估计中，最后一步往往是将光流图进行Refine和smooth，来确保光流在空间上连续，大部分区域符合刚体运动假设，同时也会处理遮挡，为遮挡区域提供连续的光流值。

在介绍的论文中，建立了一个能量函数，将光流图的优化和优化能量函数联系起来。论文偏向传统，但是也很经典，接下来一起看下做法。

阅读更多

Biratral Grid与HDRNET论文笔记

作者

这篇博客介绍 Google 近年来在Photography方面一篇具有代表性的论文，Deep Bilateral Learning for Real-Time Image Enhancement

HDRNET的主要特征数数据分成两路，低分辨率偏向high level语义，这一路学习到的是一系列参数（分mesh的3×4 color matrix），学习参数需要的计算资源相对于学习输出图需要的资源更少，移动端部署更加方便。高分辨率一路更偏向low-level引导，学些引导图和参数apply。

阅读更多

Stable Diffusion 本地部署指南

作者

部署stable diffusion ai绘图，需要 nvidia 显卡，至少需要6G显存（显存越大越好，高清图片需要更大显存）。这篇博客适用于一些有代码基础的同学（也就是不会手把手告诉怎么搭建python环境、clone代码），完全没接触过代码的同学可以找其它教程。

Stable Diffusion 官网地址： https://stability.ai/blog/stable-diffusion-public-release

Stable Diffusion 代码仓库： https://github.com/CompVis/stable-diffusion

模型下载（该链接建议从头阅读）：https://stable-diffusion-art.com/models/#Stable_diffusion_v15

https://huggingface.co/CompVis/stable-diffusion

训练和使用Lora：https://zhuanlan.zhihu.com/p/624230991

webui：https://github.com/AUTOMATIC1111/stable-diffusion-webui

阅读更多