KAN(Kolmogorov-Arnold Networks)相比于MLP的改进在于激活函数的可学习,可以用更少量的参数来做更深层次的拟合,极大减少了网络参数,增强了网络的可解释性,KAN缺点在于训练过于缓慢,这篇笔记主要是对论文主干的翻译,我们先看看KAN的论文。(Paper有48页,慢慢啃)
omniverse与blender交互
omniverse和blender结合有两种方式,一种是blender中的模型导入到omniverse中产生形态键动画,然后再导回blender,这种方式可以直接参见nvidia的视频guide,另一种方式是omniverse直接产生动画,在blender中利用插件完成绑定,我们这里介绍后面这种。
这篇博客主要介绍利用Omniverse驱动人体模型和面部表情映射的大致基本流程,主要介绍两套工具之间的桥梁,不会具体到每个参数,如果需要系统学习,可以单独找omniverse或者blender的课程,它们会介绍的更详细。开始之前,需要有blender操作基础,以及对Riggfy,ARP(Auto Rig Pro)和Faceit 动画绑定插件有一些基本了解。
blender插件开发(一)调试环境部署
这篇博客主要介绍blender插件开发,以及配合pycharm进行调试的步骤。开发之前我们需要需要留意到blender本身使用GPL license,blender开发的插件,以及非独立资产(模型、贴图、音频等)都应当遵守GPL协议进行开源。
blender日常操作快捷键
翻看视频教程进行记录:https://www.bilibili.com/video/BV14u41147YH … 阅读更多
blender骨骼绑定
开始之前,建议系统性学习下blender,否则模式、视图、功能面板一多就容易漏掉重要的设置,不是系统了解的话,排查过程也会比较费时费力。
HDR问题中曝光序列的讨论
HDRFLOW论文地址:https://arxiv.org/pdf/2403.03447.pdf 首先,我们看 … 阅读更多
densepose简化调用
把densepose官方给的代码做了简化,去除了各种封装和log,只保留核心功能。 使用之前先pip安装den … 阅读更多
PyCharm调用wsl调试器问题记录
记录pycharm启动wsl调试器时出现问题和解决方法。 1. 报错:wsl a localhost prox … 阅读更多
pyRender离线渲染的一些问题
记录一下使用pyRender在没有显示器的服务器端做场景渲染时遇到的一些报错和解决。
写在前面,pyrender真是个大坑,渲染还很慢, realrender用cpu渲染也很快,问题没这么多,如果还没有绑定pyrender可以早些转投realreader,调试时候也需要灵活些,发现egl后端问题解不了,可以先用osmega后端,两个可以切换着来。
Blender SMPL插件指南
https://github.com/Meshcapade/SMPL_blender_addon https: … 阅读更多
Python Windows Binary
收藏一些python包的unofficial下载地址,有的包我们直接安装有问题,或者编译安装有问题,可以来这些 … 阅读更多
Point Transformer论文笔记
挖坑,回填
Codebook机制和CodeFormer图像恢复
这篇博客主要介绍Codebook机制和CodeFormer,之前介绍了一种类似包含dictionary的算法 RestoreFormer和RestoreFormer++,他们有一些共通的机制,之前看VQ-VAE时候没有把Codebook梳理清楚,这里补补坑。
图像修复笔记 RestoreFormer和RestoreFormer++
RestoreFormer收录于CVPR2022,其后续工作RestoreFormer++被收录于TPAMI2023,属于图像复原领域比较具有代表性的工作。这里需要一些transformer的前置知识,可以参见Vision Transformer.