三维神经网络的输入与输出格式、数据处理方法及技术演进
在二维计算机视觉中,图像天然具有规则的数据结构。一张 RGB 图像可以表示为一个形状为 (H\times W\times3) 的张量。无论是 CNN 还是 Vision Transformer,都可以比较方便地处理这样的数据。
但三维世界远没有这么简单。
一个三维物体可以表示为点云(Point Cloud)、三角网格(Mesh)、体素(Voxel)、距离场(SDF)、神经辐射场(NeRF),也可以表示为近年来非常流行的 3D Gaussian Splats。
即使描述的是同一个物体,这些表示的数据结构、几何含义和计算方式也可能完全不同。
例如,我们希望训练一个网络,将扫描得到的不完整三维模型恢复成完整模型。究竟应该把点云、Mesh 还是 SDF 送进网络?网络是应该输出一组顶点、一个连续函数,还是一个隐空间向量?
这些选择会直接决定网络架构、显存消耗、训练方法、几何精度,以及最终模型的可编辑性。
本文从工程和算法两方面,系统梳理三维神经网络中常见的输入、输出和中间表示,并结合典型论文介绍它们的处理方式。
一、首先区分三个概念:文件格式、几何表示与网络表示
在讨论三维网络时,我们经常会混用 OBJ、Mesh、Point Cloud、SDF、Latent 等术语。
实际上,它们属于不同的层次。
1.1 文件格式:三维数据如何存储
常见格式如下:
| 文件格式 | 主要存储内容 | 常见用途 |
|---|---|---|
| OBJ | 网格顶点、面、UV、法向,材质可通过 MTL 引用 | 三维建模、模型交换 |
| STL | 三角面几何 | 3D 打印 |
| PLY | 点、面及自定义属性 | 点云、Mesh、3DGS |
| GLB / glTF | 网格、材质、纹理、场景节点、动画等 | 三维资产交换、实时图形 |
| FBX | 网格、材质、骨骼、动画等 | DCC 软件、游戏制作 |
| LAS / LAZ | LiDAR 点云及属性 | 测绘、激光扫描 |
| NPY / NPZ | NumPy 数组 | 网络训练与中间数据 |
| PT / PTH | PyTorch 张量或模型数据 | 模型训练与推理 |
这里有一个重要细节:文件格式和三维表示并不是一一对应的关系。
例如,PLY 可以保存普通点云,也可以保存带三角面的 Mesh,还可以保存 3DGS 中的 Gaussian 参数。但它们的属性含义并不相同,一个支持 PLY 的软件不一定能够正确读取 3DGS。
同样,Mesh 可以通过 OBJ、PLY、GLB 等多种格式存储。
1.2 几何表示:如何在数学上描述物体
常见表示可以分为三大类。
显式表示(Explicit Representation)
直接保存几何或空间基本元素,例如:
- Point Cloud:保存三维采样点。
- Mesh:保存顶点和面片。
- Voxel:保存离散空间网格。
- 3DGS:保存三维 Gaussian 及其外观属性。
隐式表示(Implicit Representation)
不直接列出物体表面的所有顶点,而是通过空间函数描述物体,例如:
- Signed Distance Field(SDF)。
- Occupancy Field。
- Neural Radiance Field(NeRF)。
混合与潜在表示(Hybrid / Latent Representation)
利用规则网格、稀疏空间结构或学习到的特征向量,构建更适合神经网络处理的三维编码,例如:
- Triplane。
- Hash Grid。
- Sparse Voxel Features。
- Structured 3D Latent。
- 离散 Mesh Tokens。
1.3 网络表示:真正送入神经网络的是什么?
这是本文最重要的区别。
假设我们有一个 Mesh:
[
M=(V,F)
]
其中 (V) 是顶点坐标,(F) 是三角面索引。
但神经网络不一定直接读取 (V) 和 (F)。
实际工程中可能有以下几条路线:
原始 Mesh
|
+--> 采样表面点 --> Point Transformer
|
+--> Voxelization --> Sparse 3D CNN
|
+--> SDF Sampling --> Implicit Network
|
+--> Mesh Tokenization --> Transformer
|
+--> Multi-view Rendering --> ViT
因此,一个网络以 Mesh 为数据来源,并不代表它使用 Mesh 作为内部表示。
选择三维网络时,要分别考虑原始数据表示、网络计算表示和最终输出表示。三者完全可以不同。
二、Point Cloud:最直接的三维网络输入
点云通常是学习三维几何最容易入手的表示。
2.1 数据结构
一个包含 (N) 个点的三维点云可以表示为:
[
P={p_i}_{i=1}^{N}
]
其中:
[
p_i=(x_i,y_i,z_i)
]
对应的 Tensor:
points.shape = (B, N, 3)
如果还包含颜色、法向等属性:
xyz.shape = (B, N, 3) rgb.shape = (B, N, 3) normals.shape = (B, N, 3)
也可以将属性拼接:
features.shape = (B, N, 9)
这里的 (B) 是 Batch Size。
2.2 点云为什么不能简单当作图像?
点云有三个不同于图像的重要特征。
第一,点没有固定顺序。
对于同一组点:
[
{p_1,p_2,p_3}
]
和:
[
{p_3,p_1,p_2}
]
在几何意义上完全相同。
因此,面向点集的全局分类网络通常需要满足置换不变性,而逐点预测网络需要满足置换等变性。
第二,点云分布不规则。
图像每个像素都有固定邻居,但点云的空间邻域需要计算。
常见方法包括:
- KNN:K-Nearest Neighbors。
- Radius Search / Ball Query。
- FPS:Farthest Point Sampling。
- Voxel Downsampling。
第三,点云缺少显式拓扑。
即使采样点都位于同一个物体表面,网络也无法直接知道哪些点应该连接成一个三角面。
2.3 PointNet:通过对称函数解决无序性
PointNet 是点云深度学习最经典的工作之一。
其核心结构可以简化为:
[
h_i=\phi(p_i)
]
[
z=\max_i h_i
]
其中 (\phi) 是共享 MLP,Max Pooling 对所有点进行对称聚合。
这样,无论输入点如何排序,最终的全局特征 (z) 都不会改变。
PointNet 可以完成物体分类和点云分割,但其基础形式对局部几何关系的建模有限。
后续的 PointNet++、DGCNN、Point Transformer 等工作,主要围绕如何构建和聚合局部几何特征展开。
2.4 Point Transformer V3:把三维点云变成可处理的序列
Point Transformer V3 提出了一种很有代表性的思路:利用空间填充曲线对点云进行序列化。
例如使用 Morton Code 或 Hilbert Curve,将三维位置映射为一维排序关系。
原始点云 ↓ 空间离散化 ↓ Morton / Hilbert 编码 ↓ 排序与 Patch 分组 ↓ 局部 Self-Attention ↓ 三维特征
这样,Transformer 不再需要对整个点云执行全局 Attention,也减少了反复构建精确邻域的成本。
不过,一维序列中的相邻关系并不等于精确的三维空间邻近关系,所以通常还需要多种序列化模式和局部特征融合机制。
2.5 点云网络可以输出什么?
点云网络不只是输出分类结果。
| 输入 | 输出 | 典型任务 |
|---|---|---|
| (N\times3) | (C) | 物体分类 |
| (N\times3) | (N\times C) | 语义分割 |
| (N\times3) | (N\times3) | 去噪、坐标修正 |
| (N\times3) | (M\times3) | 点云补全 |
| (N\times3) | (R,t) | 位姿估计、配准 |
| (N\times3) | (D) | 三维特征编码 |
注意,补全任务中的输出点数 (M) 不一定等于输入点数 (N)。
点云最大的优势是输入简单、与三维测量设备天然匹配,适合三维识别、配准、补全和几何特征提取。
它最大的不足是缺少完整的连续表面。
三、Mesh:最适合几何编辑,但不是最容易直接生成的表示
Mesh 是传统计算机图形学中最重要的三维表示之一。
对于三角网格:
[
M=(V,F)
]
其中:
[
V\in\mathbb R^{N\times3}
]
[
F\in\mathbb N^{K\times3}
]
(V) 保存顶点坐标,(F) 保存每个三角面连接的三个顶点索引。
3.1 直接把 Mesh 输入神经网络
常见做法包括:
顶点特征网络
将每个顶点视为图节点,相邻顶点通过网格边建立联系,使用 Graph Neural Network 传播信息。
边特征网络
MeshCNN 将边作为重要的计算单元,利用局部边邻接结构进行卷积和池化。
面片特征网络
对三角面提取面积、法向、位置等信息,再通过图网络或 Transformer 进行处理。
这些网络可以利用 Mesh 的拓扑信息,但会受到不同模型拓扑不一致、网格质量变化、数据批处理困难等问题的影响。
3.2 为什么直接输出 Mesh 比输出点云困难?
如果网络只是对一个固定拓扑的人脸或人体模型进行形变,问题相对简单:
[
V’=V+\Delta V
]
网络只需要预测每个顶点的偏移。
但如果输入是一个完全未知的物体,网络还需要决定:
- 应该有多少个顶点?
- 三角面如何连接?
- 哪里存在孔洞?
- 是否允许多个独立连通组件?
- 如何避免非流形边和自交?
因此,直接预测任意拓扑的 Mesh 远比预测固定数量的点云困难。
3.3 Mesh Token:把网格生成变成序列生成
MeshGPT、MeshAnything 和 MeshAnything V2 等工作提出了另一条路线。
其基本思想是将三角网格编码成离散 Token,然后使用自回归 Transformer 生成。
Mesh ↓ 几何量化 / 拓扑编码 ↓ VQ-VAE / Tokenizer ↓ 离散 Mesh Tokens ↓ Autoregressive Transformer ↓ Mesh Tokens ↓ Mesh Decoder ↓ 三角网格
如果采用离散 Token,训练目标可以写成:
[
L=-\sum_{t=1}^{T}
\log p_\theta(q_t\mid q_{<t},c)
]
其中:
- (q_t):第 (t) 个 Mesh Token。
- (c):条件信息,例如点云、图像或三维形状特征。
这种方式将 Mesh 生成转化为类似语言模型的序列预测问题。
但 Mesh Tokenizer 的设计非常关键。直接将所有三角面展开成序列,会面临序列过长、重复顶点、几何连接关系不连续等问题。
MeshAnything V2 进一步研究了相邻网格结构的 Tokenization,以降低序列复杂度。
3.4 Mesh 的定位
Mesh 特别适合:
- 模型编辑、雕刻和自由曲面形变。
- 动画与骨骼绑定。
- 有明确拓扑的物体生成。
- 碰撞检测和物理仿真。
- 3D 打印与制造。
不过,一个三角面数量很多的 Mesh,并不必然是一个高质量 Mesh。
面片均匀度、法向、流形性、自交、UV、纹理和拓扑结构,都会影响最终的实际使用价值。
四、Voxel:把三维问题变成 CNN 熟悉的规则网格
二维图像是规则像素网格,那么能否将三维空间也离散成规则网格?
这就是 Voxel 的基本思想。
4.1 稠密体素表示
一个分辨率为 (R) 的三维体素网格可以表示为:
[
V\in\mathbb R^{R\times R\times R\times C}
]
其中每个体素可以存储:
- Occupancy。
- SDF / TSDF。
- RGB。
- 语义类别。
- 可学习特征向量。
送入 PyTorch 3D CNN 时,通常整理为:
voxels.shape = (B, C, D, H, W)
这样就可以直接使用 Conv3d、3D U-Net 等网络。
4.2 最大的问题:立方级内存增长
体素分辨率从 (R) 提升到 (2R),体素数量增加到原来的 8 倍。
因此:
[
\text{Memory}=O(R^3)
]
对于高精度重建,这是一个严重的问题。
如果希望重建精细的薄壁结构、曲面细节或者大规模场景,稠密体素很快就会遇到内存瓶颈。
4.3 Sparse Voxel:只计算有数据的区域
实际三维物体大部分空间可能是空的。
Sparse Voxel 的思想是只保存有效空间单元:
[
\mathcal V={(c_i,f_i)}_{i=1}^{N}
]
其中 (c_i) 是离散体素坐标,(f_i) 是特征。
常见 Tensor:
coords.shape = (N, 4) # batch, x, y, z feats.shape = (N, C)
这里的第一个坐标用于区分 Batch,具体排列需要遵守所使用框架的约定。
Sparse Convolution 只在指定的稀疏坐标位置执行计算。
Minkowski Engine、spconv 等框架都属于这类技术生态。
这种表示适合:
- LiDAR 语义分割。
- 大规模三维场景分析。
- 稀疏几何编码。
- 三维生成中的空间结构预测。
值得注意的是,Sparse Voxel 不等于普通 Point Cloud。前者通常先对位置进行离散化,建立规则空间邻接关系;后者可以保留原始连续坐标。
五、SDF 与 Occupancy:不直接预测表面,而是学习一个函数
在三维重建任务中,隐式表示是一条非常重要的技术路线。
5.1 Occupancy Network
Occupancy Network 学习:
[
f_\theta(x,z)\rightarrow p
]
其中:
- (x\in\mathbb R^3):空间查询点。
- (z):输入物体的特征向量。
- (p\in[0,1]):空间占用概率。
可以将 (p=0.5) 的等值面作为重建表面。
训练时,随机采样空间点,并根据它们在物体内部还是外部构造监督信号。
典型 Tensor:
latent.shape = (B, D) query.shape = (B, Q, 3) output.shape = (B, Q, 1)
这里 (Q) 是一次查询的空间点数量。
5.2 Signed Distance Field
SDF 在每个空间位置预测到物体表面的有符号距离:
[
f_\theta(x,z)=d
]
通常约定:
[
d(x)=
\begin{cases}
-d_{\text{surface}}, & x\text{ 位于物体内部}\
0, & x\text{ 位于表面}\
+d_{\text{surface}}, & x\text{ 位于物体外部}
\end{cases}
]
物体表面定义为:
[
S={x\mid f_\theta(x,z)=0}
]
只要能查询这个函数,就能得到任意空间位置对应的距离。
相对于直接预测网格,SDF 不需要预先固定顶点数量和拓扑。
5.3 DeepSDF:三维形状的潜在编码
DeepSDF 使用一个形状 Latent (z) 和查询点 (x) 预测对应的 SDF:
[
d=f_\theta(z,x)
]
这意味着一个复杂三维物体,可以由一个较低维的 Latent 向量和共享的 Decoder 表示。
在训练完成后,改变 (z) 就可以生成或插值不同的形状。
当输入是不完整的扫描点云时,还可以优化 (z),使其生成的 SDF 与已有几何观测一致,从而完成形状补全。
5.4 SDF 如何恢复成 Mesh?
训练得到的网络通常并不直接保存所有三角面。
推理时需要:
Shape Latent
↓
在三维空间采样 Query Points
↓
SDF Decoder
↓
三维 SDF Grid
↓
Marching Cubes
↓
Triangle Mesh
这就是典型的隐式场转 Mesh 过程。
Marching Cubes 不一定可微,因此如果希望通过最终 Mesh 的渲染损失反向优化网络,就需要特别设计。
DMTet、FlexiCubes 等工作正是在这一问题上进行了改进。
5.5 为什么 SDF 很适合精确几何?
SDF 可以直接通过梯度计算法向:
[
n(x)=
\frac{\nabla f(x)}
{|\nabla f(x)|}
]
理想距离场还具有:
[
|\nabla f(x)|=1
]
这一性质可以用于构建 Eikonal Loss,从而引入几何正则化。
但需要注意,隐式表示在数学上连续,不代表输出精度无限。网络容量、空间编码、训练采样密度,以及最后提取 Mesh 的分辨率都会限制几何质量。
六、NeRF 与 3DGS:面向渲染的三维表示
SDF 和 Mesh 比较关注物体表面。
NeRF 和 3DGS 则更加关注从任意视角生成图像的能力。
6.1 NeRF:用网络表示辐射场
NeRF 使用函数:
[
f_\theta(x,d)\rightarrow(\sigma,c)
]
其中:
- (x):空间位置。
- (d):观察方向。
- (\sigma):空间密度。
- (c):颜色。
渲染时沿相机射线采样,通过体积积分得到像素颜色。
典型流程:
Camera Ray
↓
Sample 3D Positions
↓
Positional Encoding / Spatial Features
↓
Neural Field Decoder
↓
Density + Color
↓
Volume Rendering
↓
RGB Image
NeRF 的网络输出并不是 Mesh,而是可以被查询的辐射场。
如果需要 Mesh,还要通过密度场、SDF 或专门的几何提取方法进行转换。
6.2 3DGS:把辐射场变成显式 Gaussian 集合
3DGS 为每个 Gaussian 保存:
[
G_i=(\mu_i,\Sigma_i,\alpha_i,c_i)
]
其中:
- (\mu_i):三维中心位置。
- (\Sigma_i):协方差矩阵。
- (\alpha_i):不透明度。
- (c_i):颜色或球谐函数系数。
将整个场景写成:
[
G={G_i}_{i=1}^{N}
]
如果每个 Gaussian 的属性被整理成固定长度向量,那么可以形成:
gaussians.shape = (B, N, D)
其中 (D) 取决于颜色表示、球谐阶数和其他附加特征。
但在原始 3DGS 中,通常不是先由一个通用神经网络输出整个 Gaussian 集合,而是直接为单个场景优化 Gaussian 参数,并通过 Densification / Pruning 动态调整 Gaussian 数量。
这一点与 PointNet、DeepSDF 等模型有很大区别。
后续的前馈式 Gaussian 生成网络,才更接近:
[
f_\theta(I_1,\ldots,I_K)\rightarrow G
]
6.3 GS 能否作为网络输入?
当然可以。
每个 Gaussian 可以视为一个带有丰富属性的空间 Token:
[
g_i=[\mu_i,s_i,R_i,\alpha_i,c_i]
]
再使用 Point Transformer、Graph Network 或其他集合网络处理。
但困难在于:
- Gaussian 数量不固定。
- 不同 Gaussian 具有不同的空间尺度。
- Gaussian 之间没有明确的拓扑。
- 不透明度、尺度和位置存在耦合。
- 几何表面并非天然明确。
因此,将 GS 作为高效渲染输出是一回事,将它作为通用三维理解网络的输入又是另一回事。
GS 是非常有竞争力的渲染表示,但未必是所有三维理解、形变和几何生成任务最合适的中间表示。
七、Triplane、Hash Grid 与 Sparse Latent:现代三维网络为什么越来越重视中间表示?
直接在三维空间生成完整几何数据可能成本很高。
例如:
- 点云可能包含几十万点。
- Mesh 包含可变数量的顶点和面片。
- 稠密 Voxel 占用大量内存。
- Gaussian 数量和属性维度也可能很大。
于是出现了一个重要思路:
将复杂三维形状先压缩到更适合神经网络处理的特征空间,再通过专用 Decoder 恢复三维模型。
7.1 Triplane
Triplane 使用三个二维特征平面表示三维空间:
[
F_{xy},F_{xz},F_{yz}
]
对于空间位置:
[
x=(x,y,z)
]
分别从三个平面查询:
[
f(x)=
F_{xy}(x,y)
\oplus
F_{xz}(x,z)
\oplus
F_{yz}(y,z)
]
其中 (\oplus) 可以表示拼接,也可以采用求和等聚合操作。
再利用一个 MLP:
[
g_\theta(f(x))\rightarrow
\text{SDF / Density / Color}
]
Triplane 最大的优势是避免直接保存稠密三维特征网格。
三个二维平面的特征存储复杂度随分辨率近似按:
[
O(R^2)
]
增长,而不是稠密三维网格的 (O(R^3))。
EG3D 就是 Triplane 在三维生成方向上的代表性工作。
不过 Triplane 的实际表达能力还受到平面分辨率、通道数量、Decoder 和采样策略等因素限制。
7.2 Multi-resolution Hash Grid
Hash Grid 使用多层不同分辨率的空间网格,再通过哈希映射存储可学习特征。
给定空间查询点:
[
x\rightarrow
[f_1(x),f_2(x),\ldots,f_L(x)]
]
再用一个轻量 MLP 解码。
Instant-NGP 是这类技术的代表性工作。
其主要贡献在于提供高效的空间特征编码,使小型网络能够学习较复杂的空间细节。
但 Hash Grid 更像是一种空间特征参数化和加速方式,而不是独立、完整的三维资产格式。
7.3 Structured 3D Latent
TRELLIS 和 SAM 3D 所采用的结构化三维潜空间,是一个尤其值得关注的方向。
可以抽象为:
[
Z={(c_i,z_i)}_{i=1}^{N}
]
其中:
- (c_i):有效稀疏体素位置。
- (z_i):对应位置的学习特征。
- (N):有效空间单元数量。
这种结构可以同时利用:
- 稀疏空间坐标。
- 神经网络学习到的局部几何特征。
- 局部纹理与外观特征。
它不必直接存储完整 Mesh,也不必直接存储全部 Gaussian。
更重要的是,同一个结构化 Latent 可以通过不同 Decoder 恢复多种输出。
Image / Point Cloud / Text
↓
Condition Encoder
↓
3D Latent Generator
↓
Structured 3D Latent
|
+------+------+
| |
Mesh Decoder GS Decoder
| |
Mesh 3DGS
TRELLIS 使用这种思想支持 Mesh、Gaussian 和 Radiance Field 等不同的三维输出。
SAM 3D Objects 则进一步将这一类三维生成机制应用于真实场景中的单图物体重建,并处理物体布局和姿态。
需要注意,TRELLIS 和 SAM 3D 是不同的模型系统,不能简单认为它们的 Latent 编码、Decoder 权重完全通用。
八、网络的输入输出组合:实际项目中怎么设计?
前面介绍了各种表示,但真正设计一个三维网络时,更重要的是选择输入和输出的组合。
8.1 常见组合
| 网络输入 | 网络输出 | 常见任务与技术路线 |
|---|---|---|
| Point Cloud | Point Cloud | 去噪、补全、重采样 |
| Point Cloud | SDF | 连续曲面重建、形状补全 |
| Point Cloud | Mesh | 点云表面重建 |
| Mesh | Mesh | 形变、网格优化 |
| Mesh | Mesh Tokens | 拓扑编码与网格生成 |
| Voxel | Voxel | 占用预测、3D 分割 |
| Sparse Voxel | Sparse Features | 大规模三维感知、生成 |
| Image | Point Cloud | 单目三维点预测 |
| Image | SDF / Occupancy | 单图几何重建 |
| Image | 3DGS | 前馈式新视角合成 |
| Image | 3D Latent | 三维生成与重建 |
| 3D Latent | Mesh / 3DGS | 多格式三维解码 |
| Mesh | Point Cloud | 几何采样与监督 |
| SDF | Mesh | 等值面提取 |
| 3DGS | Mesh | Gaussian 表面重建 |
这些转换并非全部可逆,也不保证没有信息损失。
例如,从 Mesh 采样成点云后,原来的三角面连接关系通常就丢失了。
从 GS 转为 Mesh,则需要额外的表面定义、深度融合或几何提取机制。
8.2 三种最有代表性的 Shape-to-Shape 网络
第一类:Point Cloud Autoencoder
Input Point Cloud
↓
PointNet / Point Transformer Encoder
↓
Global or Hierarchical Latent
↓
Point Decoder
↓
Output Point Cloud
这种方式简单、容易训练,适合作为点云补全、去噪和 Shape Autoencoder 的基线。
第二类:Point Cloud → SDF → Mesh
Input Point Cloud
↓
Point Encoder
↓
Shape Latent
↓
Conditional SDF Network
↓
SDF Field
↓
Marching Cubes / DMTet
↓
Output Mesh
这种方式具有更明确的连续表面建模能力。
如果目标是高质量几何重建,我认为这是一条很值得研究的路线。
第三类:3D Latent → Mesh / GS
Input 3D Shape
↓
Sampling / Voxelization / Feature Encoding
↓
3D Latent Encoder
↓
Latent Transformer / Diffusion / Flow Model
↓
Generated 3D Latent
|
+--> Mesh Decoder
|
+--> Gaussian Decoder
第三种方式的核心优势在于,生成模型可以在一个相对紧凑的潜在空间中进行计算。
但它也引入一个新问题:Latent 是否能够完整保留原始三维模型的精细几何?
如果 Latent 的编码分辨率或者训练数据不足,再强的生成网络也不一定能恢复细小结构。
九、三维数据进入网络之前,需要做哪些预处理?
这一部分在实际工程中往往比网络结构更容易影响结果。
9.1 坐标系统一
三维数据可能使用:
- 不同的单位:米、厘米、毫米。
- 不同坐标手性。
- 不同 Up Axis。
- 物体局部坐标系、世界坐标系、相机坐标系。
因此需要首先统一坐标约定。
对于一个物体点:
[
p’=sR(p-t)
]
可以实现中心平移、旋转对齐和尺度归一化。具体变换顺序取决于所采用的坐标系约定。
对于物体级生成模型,经常将物体归一化到单位包围盒或近似单位球内。
但对于高精度三维扫描,应同时保存归一化变换和逆变换。
否则,网络虽然输出了正确的归一化形状,却可能丢失真实物理尺度。
9.2 Point Cloud Sampling
对于点云网络,通常需要控制输入点数量。
常见方法:
- Random Sampling:简单快速,但分布可能不均匀。
- Farthest Point Sampling:提高空间覆盖率。
- Voxel Downsampling:保证一定的空间分辨率。
- Importance Sampling:重点保留边缘、曲率高或不确定区域。
采样策略不是无关紧要的细节。
例如,对于带薄壁、尖角、狭窄凹槽的机械零件,均匀下采样可能删除对最终精度最重要的结构。
9.3 Mesh 预处理
如果使用 Mesh 作为输入,常见处理包括:
- 删除重复顶点和退化三角形。
- 检查法向方向。
- 修复非流形结构。
- 检查自交。
- 统一面片朝向。
- 重网格化或简化。
- 计算邻接关系。
- 提取曲率、面积和法向特征。
如果需要计算可靠的 Signed Distance,则还需要关注 Mesh 是否闭合、是否具有一致的内部与外部定义。
开放网格的 Signed Distance 并不总是有明确的物理意义。
9.4 SDF Sampling
SDF 网络通常不会在整个三维空间中均匀采样所有训练点。
更常见的是混合采样:
[
P(x)=
\lambda P_{\text{surface}}(x)
+(1-\lambda)P_{\text{uniform}}(x)
]
一部分点采样在表面附近,另一部分点采样在物体包围盒内部。
原因很简单:如果大量采样点都远离表面,网络可能很难学习到精确的零水平集。
对于高精度重建,还可以提高边缘、凹槽和薄结构附近的采样密度。
9.5 网络 Batch 处理
三维数据往往具有可变长度。
两个不同物体可能分别有 20,000 和 100,000 个点,而两个 Mesh 的面片数量也可能相差几个数量级。
常见 Batch 处理策略包括:
- 固定数量采样。
- Padding + Valid Mask。
- Ragged / Packed Tensor。
- Sparse Tensor + Batch Index。
- 将数据划分为空间 Patch 或 Token。
其中,Padding 虽然方便,但如果样本长度差异很大,会造成明显的计算浪费。
十、三维网络训练通常使用哪些损失函数?
三维网络的输出没有统一形式,因此也不存在一种适合所有任务的损失函数。
10.1 Point Cloud:Chamfer Distance
对于预测点云 (P) 和目标点云 (Q):
[
L_{\text{CD}}=
\frac{1}{|P|}
\sum_{p\in P}\min_{q\in Q}|p-q|2^2
+
\frac{1}{|Q|}
\sum{q\in Q}\min_{p\in P}|q-p|_2^2
]
Chamfer Distance 容易计算,也非常常见。
但它可能对局部点密度、离群点和薄结构不够敏感,不能保证拓扑正确。
除了 Chamfer Distance,还可以考虑 Earth Mover’s Distance、法向一致性和局部结构损失。
10.2 Mesh:表面与拓扑相关损失
Mesh 常见损失包括:
Laplacian Smoothness
限制局部顶点偏移,减少不必要的表面振荡。
Normal Consistency
鼓励相邻三角面法向保持合理一致。
Edge Length Regularization
约束边长分布,避免过度拉伸或退化面片。
ARAP Loss
约束局部形变尽可能保持刚性。
这些几何损失有助于生成更自然的表面,但权重过大也可能抹除真实的高频几何细节。
10.3 SDF:距离损失与 Eikonal Loss
距离监督:
[
L_{\text{SDF}}=
\mathbb E_x
\left|
f_\theta(x,z)-d_{gt}(x)
\right|
]
Eikonal Loss:
[
L_{\text{eik}}=
\mathbb E_x
\left(
|\nabla f_\theta(x,z)|-1
\right)^2
]
对于多视图重建,还可以引入深度、轮廓和法向监督。
10.4 GS / NeRF:图像渲染损失
常见目标为:
[
L_{\text{render}}=
\lambda_1 L_1+
\lambda_2 L_{\text{SSIM}}
+\lambda_3 L_{\text{LPIPS}}
]
如果能够获得真实深度和法向,还可以添加:
[
L=
L_{\text{render}}
+\lambda_d L_{\text{depth}}
+\lambda_n L_{\text{normal}}
]
这里必须注意:
图像渲染误差小,并不代表真实几何误差小。
网络可以利用透明度、颜色或者错误的表面位置补偿视觉误差,从而得到看起来正确但几何不准确的结果。
10.5 生成式模型:Latent Reconstruction / Diffusion / Flow Loss
对于使用 VAE 的三维 Latent 表示,可以采用:
[
L=
L_{\text{reconstruction}}
+\beta D_{\text{KL}}(q(z|x)|p(z))
]
对于离散 Token 模型,常见的是 Cross Entropy。
对于 Diffusion 或 Flow Matching 模型,则使用对应的去噪或速度场学习目标。
这类损失关注生成分布的建模,并不自动保证最终物体满足工程尺寸、公差或流形条件。
十一、从网络输出到最终三维模型,还需要哪些步骤?
网络产生三维预测,不等于已经得到可编辑、可打印的模型。
例如:
| 网络输出 | 后处理 | 最终结果 |
|---|---|---|
| Point Cloud | 法向估计、Poisson Reconstruction | Mesh |
| Occupancy | 空间查询、等值面提取 | Mesh |
| SDF | Marching Cubes / DMTet | Mesh |
| 3DGS | 表面提取、重建或深度融合 | Mesh |
| Sparse Latent | Mesh Decoder | Mesh |
| Mesh Tokens | Token 解码、拓扑修复 | Mesh |
| Mesh | 修复、简化、UV、材质烘焙 | 可编辑三维资产 |
特别是对于 3D 打印,还需要:
- 水密性检查。
- 自交及非流形修复。
- 法向一致性。
- 壁厚检查。
- 真实尺度恢复。
- 必要的支撑和切片处理。
对于三维建模与动画,则需要更加关注拓扑、UV、材质和可形变性。
因此,评价一个三维生成模型,不应该只看最终渲染图像是否漂亮。
还应该看生成的几何是否便于实际使用。
十二、从技术演进看,未来三维网络会采用什么表示?
回顾这些技术的发展,可以看到几条非常明显的趋势。
第一阶段:直接处理经典三维数据
典型代表:
- PointNet。
- PointNet++。
- MeshCNN。
- 3D CNN。
这个阶段主要解决如何让神经网络理解不规则三维数据。
第二阶段:将三维形状转换为连续函数
典型代表:
- Occupancy Networks。
- DeepSDF。
- NeuS。
这个阶段开始摆脱固定拓扑和固定点数的限制,通过函数表示连续的几何表面。
第三阶段:使用高效的空间特征结构
典型代表:
- Instant-NGP。
- EG3D。
- Sparse Voxel Networks。
- Point Transformer V3。
这个阶段重点解决三维网络的表达能力和计算效率问题。
第四阶段:三维 Token 与生成式 Latent
典型代表:
- MeshGPT。
- MeshAnything。
- TRELLIS。
- SAM 3D。
这个阶段开始将三维几何生成和 Transformer、Diffusion、Flow Matching 等生成模型结合起来。
这里最值得关注的变化是:
网络不一定需要直接生成最终的 Mesh 或 GS。它可以先生成一个统一的三维 Latent,再通过不同的 Decoder 输出几何、材质和渲染表示。
当然,这并不意味着所有三维任务都会收敛到同一种通用 Latent。
高精度扫描、CAD 建模、人体动画和照片级场景重建,对几何精度、结构和外观的需求差异非常大。
我更看好的方向:几何与外观解耦
未来的三维网络可以采用类似的设计:
Input 3D Shape / Images
↓
Geometry Encoder
↓
Structured 3D Latent
|
3D Generative Model
|
Refined 3D Latent
|
+-------+--------+
| |
Geometry Decoder Appearance Decoder
| |
SDF / Mesh Texture / GS
| |
+-------+--------+
↓
3D Asset / Renderer
对于精确三维重建,可以让 Geometry Branch 更多地受真实扫描数据、深度和法向约束。
对于外观生成,则可以使用图像渲染监督以及生成式纹理先验。
这样有望在保持几何精度的同时,提升完整性和真实感。
十三、工程实践:到底应该选什么表示?
不同任务建议采用不同路线。
| 目标 | 推荐输入 | 网络中间表示 | 推荐输出 |
|---|---|---|---|
| 三维物体分类 | Point Cloud | Point Features | Class |
| 点云语义分割 | Point Cloud / Sparse Voxel | Sparse Features | Point Labels |
| 点云补全 | Partial Point Cloud | Point / 3D Latent | Point Cloud / SDF |
| 高精度曲面重建 | Point Cloud / MVS Depth | SDF / TSDF / Geometry Features | Mesh |
| 物体自由形变 | Mesh | Mesh / Deformation Field | Mesh |
| 三维资产生成 | 图像 / 文本 / 三维条件 | Structured Latent / Tokens | Mesh |
| 新视角合成 | 多视图图像 | GS / Radiance Field | Rendered RGB |
| 可重打光资产 | 图像 / 三维几何 | Geometry + Material Features | Mesh + PBR |
| 三维动画 | Mesh / Pose | Deformation / Rig / Motion Latent | Animated Mesh |
| 扫描到 3D 打印 | Point Cloud / Mesh | SDF + Geometry Prior | Watertight Mesh |
如果目标是从真实物体扫描得到一个准确、可编辑的三维模型,我会推荐:
[
\boxed{
\text{Point Cloud / MVS}
\rightarrow
\text{SDF / TSDF}
\rightarrow
\text{Mesh}
}
]
如果目标是三维内容生成,则可以考虑:
[
\boxed{
\text{3D Condition}
\rightarrow
\text{Structured Latent}
\rightarrow
\text{Mesh / GS}
}
]
如果主要是三维场景的真实感渲染,则仍然可以优先采用 GS 或其他高效 Radiance Field。
对于同时追求精确几何和高质量外观的系统,可以进一步探索:
[
\boxed{
\text{Geometry: SDF / Mesh}
+
\text{Appearance: GS / PBR}
}
]
最终,不一定需要让同一种表示完成所有任务。
十四、值得阅读的代表性论文
以下论文可以按照技术路线逐步学习。
Point Cloud 与几何理解
- PointNet: Deep Learning on Point Sets for 3D Classification and Segmentation(CVPR 2017)
点云深度学习的经典起点,理解无序点集与对称聚合。 - MeshCNN: A Network with an Edge(SIGGRAPH 2019)
理解如何直接利用 Mesh 拓扑进行学习。 - Point Transformer V3: Simpler, Faster, Stronger(CVPR 2024)
研究大规模点云序列化和高效 Transformer。
隐式几何与连续表面
- Occupancy Networks(CVPR 2019)
理解如何用连续 Occupancy Function 表示物体表面。 - DeepSDF(CVPR 2019)
理解形状 Latent、SDF Decoder 和几何补全。 - NeuS(NeurIPS 2021)
研究如何将 SDF 与多视图可微渲染结合起来。
神经渲染与三维空间编码
- EG3D(CVPR 2022)
理解 Triplane 和高效三维生成。 - 3D Gaussian Splatting(SIGGRAPH 2023)
理解显式 Gaussian 表示与高效可微渲染。
直接 Mesh 生成与三维基础模型
- MeshGPT(CVPR 2024)
将三角网格转换成离散 Token,利用 Transformer 生成 Mesh。 - MeshAnything(ICLR 2025)
探索如何根据给定形状生成更适合编辑的艺术家风格 Mesh。 - MeshAnything V2(ICCV 2025)
进一步研究网格的序列化和拓扑建模。 - TRELLIS: Structured 3D Latents(CVPR 2025)
非常值得关注的结构化三维潜空间生成框架。 - SAM 3D: 3Dfy Anything in Images(CVPR 2026)
研究真实图像条件下的形状、纹理与物体姿态生成。
系统性综述
- Recent Advances and Trends in Learning-Based 3D Representations(Computer Graphics Forum,2026)
专门从三维表示的角度比较显式、隐式与神经表示,适合作为进一步研究的参考资料。
结语
回顾三维深度学习的发展,可以看到一个很清晰的技术变化。
早期的网络主要学习如何处理 Point Cloud、Mesh 和 Voxel;随后,DeepSDF、Occupancy Networks 和 NeRF 证明了连续函数也可以高效表示三维空间;近年来,3DGS、Triplane、Sparse Voxel 和 Structured Latent,又进一步探索了几何表达能力与计算效率之间的平衡。
而 MeshGPT、TRELLIS、SAM 3D 等工作,则将这些表示与生成式模型结合起来,使三维重建和内容创作具备了更多可能性。
在设计三维网络时,我认为应该始终分清三个问题:
输入表示决定了网络如何获取三维信息,中间表示决定了网络如何学习和计算,输出表示决定了最终模型能用来做什么。
好的三维系统不一定需要采用统一的表示。
对于精确几何,可以使用 SDF 和 Mesh;对于高质量视觉渲染,可以使用 GS;对于生成式建模,可以使用稀疏三维 Latent 或 Mesh Token。
真正值得探索的,是如何在不同表示之间建立高效、可靠、尽可能少损失信息的转换关系。
这或许也是未来三维基础模型和传统几何重建技术融合的重要方向。