深度学习中的三维表示:从 Point Cloud、Mesh、Voxel 到 SDF、3DGS 与 3D Latent

三维神经网络的输入与输出格式、数据处理方法及技术演进

在二维计算机视觉中,图像天然具有规则的数据结构。一张 RGB 图像可以表示为一个形状为 (H\times W\times3) 的张量。无论是 CNN 还是 Vision Transformer,都可以比较方便地处理这样的数据。

但三维世界远没有这么简单。

一个三维物体可以表示为点云(Point Cloud)、三角网格(Mesh)、体素(Voxel)、距离场(SDF)、神经辐射场(NeRF),也可以表示为近年来非常流行的 3D Gaussian Splats。

即使描述的是同一个物体,这些表示的数据结构、几何含义和计算方式也可能完全不同。

例如,我们希望训练一个网络,将扫描得到的不完整三维模型恢复成完整模型。究竟应该把点云、Mesh 还是 SDF 送进网络?网络是应该输出一组顶点、一个连续函数,还是一个隐空间向量?

这些选择会直接决定网络架构、显存消耗、训练方法、几何精度,以及最终模型的可编辑性。

本文从工程和算法两方面,系统梳理三维神经网络中常见的输入、输出和中间表示,并结合典型论文介绍它们的处理方式。


Table of Contents

一、首先区分三个概念:文件格式、几何表示与网络表示

在讨论三维网络时,我们经常会混用 OBJ、Mesh、Point Cloud、SDF、Latent 等术语。

实际上,它们属于不同的层次。

1.1 文件格式:三维数据如何存储

常见格式如下:

文件格式主要存储内容常见用途
OBJ网格顶点、面、UV、法向,材质可通过 MTL 引用三维建模、模型交换
STL三角面几何3D 打印
PLY点、面及自定义属性点云、Mesh、3DGS
GLB / glTF网格、材质、纹理、场景节点、动画等三维资产交换、实时图形
FBX网格、材质、骨骼、动画等DCC 软件、游戏制作
LAS / LAZLiDAR 点云及属性测绘、激光扫描
NPY / NPZNumPy 数组网络训练与中间数据
PT / PTHPyTorch 张量或模型数据模型训练与推理

这里有一个重要细节:文件格式和三维表示并不是一一对应的关系。

例如,PLY 可以保存普通点云,也可以保存带三角面的 Mesh,还可以保存 3DGS 中的 Gaussian 参数。但它们的属性含义并不相同,一个支持 PLY 的软件不一定能够正确读取 3DGS。

同样,Mesh 可以通过 OBJ、PLY、GLB 等多种格式存储。

1.2 几何表示:如何在数学上描述物体

常见表示可以分为三大类。

显式表示(Explicit Representation)

直接保存几何或空间基本元素,例如:

  • Point Cloud:保存三维采样点。
  • Mesh:保存顶点和面片。
  • Voxel:保存离散空间网格。
  • 3DGS:保存三维 Gaussian 及其外观属性。

隐式表示(Implicit Representation)

不直接列出物体表面的所有顶点,而是通过空间函数描述物体,例如:

  • Signed Distance Field(SDF)。
  • Occupancy Field。
  • Neural Radiance Field(NeRF)。

混合与潜在表示(Hybrid / Latent Representation)

利用规则网格、稀疏空间结构或学习到的特征向量,构建更适合神经网络处理的三维编码,例如:

  • Triplane。
  • Hash Grid。
  • Sparse Voxel Features。
  • Structured 3D Latent。
  • 离散 Mesh Tokens。

1.3 网络表示:真正送入神经网络的是什么?

这是本文最重要的区别。

假设我们有一个 Mesh:

[
M=(V,F)
]

其中 (V) 是顶点坐标,(F) 是三角面索引。

但神经网络不一定直接读取 (V) 和 (F)。

实际工程中可能有以下几条路线:

原始 Mesh
    |
    +--> 采样表面点 --> Point Transformer
    |
    +--> Voxelization --> Sparse 3D CNN
    |
    +--> SDF Sampling --> Implicit Network
    |
    +--> Mesh Tokenization --> Transformer
    |
    +--> Multi-view Rendering --> ViT

因此,一个网络以 Mesh 为数据来源,并不代表它使用 Mesh 作为内部表示。

选择三维网络时,要分别考虑原始数据表示、网络计算表示和最终输出表示。三者完全可以不同。


二、Point Cloud:最直接的三维网络输入

点云通常是学习三维几何最容易入手的表示。

2.1 数据结构

一个包含 (N) 个点的三维点云可以表示为:

[
P={p_i}_{i=1}^{N}
]

其中:

[
p_i=(x_i,y_i,z_i)
]

对应的 Tensor:

points.shape = (B, N, 3)

如果还包含颜色、法向等属性:

xyz.shape     = (B, N, 3)
rgb.shape     = (B, N, 3)
normals.shape = (B, N, 3)

也可以将属性拼接:

features.shape = (B, N, 9)

这里的 (B) 是 Batch Size。

2.2 点云为什么不能简单当作图像?

点云有三个不同于图像的重要特征。

第一,点没有固定顺序。

对于同一组点:

[
{p_1,p_2,p_3}
]

和:

[
{p_3,p_1,p_2}
]

在几何意义上完全相同。

因此,面向点集的全局分类网络通常需要满足置换不变性,而逐点预测网络需要满足置换等变性。

第二,点云分布不规则。

图像每个像素都有固定邻居,但点云的空间邻域需要计算。

常见方法包括:

  • KNN:K-Nearest Neighbors。
  • Radius Search / Ball Query。
  • FPS:Farthest Point Sampling。
  • Voxel Downsampling。

第三,点云缺少显式拓扑。

即使采样点都位于同一个物体表面,网络也无法直接知道哪些点应该连接成一个三角面。

2.3 PointNet:通过对称函数解决无序性

PointNet 是点云深度学习最经典的工作之一。

其核心结构可以简化为:

[
h_i=\phi(p_i)
]

[
z=\max_i h_i
]

其中 (\phi) 是共享 MLP,Max Pooling 对所有点进行对称聚合。

这样,无论输入点如何排序,最终的全局特征 (z) 都不会改变。

PointNet 可以完成物体分类和点云分割,但其基础形式对局部几何关系的建模有限。

后续的 PointNet++、DGCNN、Point Transformer 等工作,主要围绕如何构建和聚合局部几何特征展开。

2.4 Point Transformer V3:把三维点云变成可处理的序列

Point Transformer V3 提出了一种很有代表性的思路:利用空间填充曲线对点云进行序列化。

例如使用 Morton Code 或 Hilbert Curve,将三维位置映射为一维排序关系。

原始点云
   ↓
空间离散化
   ↓
Morton / Hilbert 编码
   ↓
排序与 Patch 分组
   ↓
局部 Self-Attention
   ↓
三维特征

这样,Transformer 不再需要对整个点云执行全局 Attention,也减少了反复构建精确邻域的成本。

不过,一维序列中的相邻关系并不等于精确的三维空间邻近关系,所以通常还需要多种序列化模式和局部特征融合机制。

2.5 点云网络可以输出什么?

点云网络不只是输出分类结果。

输入输出典型任务
(N\times3)(C)物体分类
(N\times3)(N\times C)语义分割
(N\times3)(N\times3)去噪、坐标修正
(N\times3)(M\times3)点云补全
(N\times3)(R,t)位姿估计、配准
(N\times3)(D)三维特征编码

注意,补全任务中的输出点数 (M) 不一定等于输入点数 (N)。

点云最大的优势是输入简单、与三维测量设备天然匹配,适合三维识别、配准、补全和几何特征提取。

它最大的不足是缺少完整的连续表面。


三、Mesh:最适合几何编辑,但不是最容易直接生成的表示

Mesh 是传统计算机图形学中最重要的三维表示之一。

对于三角网格:

[
M=(V,F)
]

其中:

[
V\in\mathbb R^{N\times3}
]

[
F\in\mathbb N^{K\times3}
]

(V) 保存顶点坐标,(F) 保存每个三角面连接的三个顶点索引。

3.1 直接把 Mesh 输入神经网络

常见做法包括:

顶点特征网络

将每个顶点视为图节点,相邻顶点通过网格边建立联系,使用 Graph Neural Network 传播信息。

边特征网络

MeshCNN 将边作为重要的计算单元,利用局部边邻接结构进行卷积和池化。

面片特征网络

对三角面提取面积、法向、位置等信息,再通过图网络或 Transformer 进行处理。

这些网络可以利用 Mesh 的拓扑信息,但会受到不同模型拓扑不一致、网格质量变化、数据批处理困难等问题的影响。

3.2 为什么直接输出 Mesh 比输出点云困难?

如果网络只是对一个固定拓扑的人脸或人体模型进行形变,问题相对简单:

[
V’=V+\Delta V
]

网络只需要预测每个顶点的偏移。

但如果输入是一个完全未知的物体,网络还需要决定:

  • 应该有多少个顶点?
  • 三角面如何连接?
  • 哪里存在孔洞?
  • 是否允许多个独立连通组件?
  • 如何避免非流形边和自交?

因此,直接预测任意拓扑的 Mesh 远比预测固定数量的点云困难。

3.3 Mesh Token:把网格生成变成序列生成

MeshGPT、MeshAnything 和 MeshAnything V2 等工作提出了另一条路线。

其基本思想是将三角网格编码成离散 Token,然后使用自回归 Transformer 生成。

Mesh
  ↓
几何量化 / 拓扑编码
  ↓
VQ-VAE / Tokenizer
  ↓
离散 Mesh Tokens
  ↓
Autoregressive Transformer
  ↓
Mesh Tokens
  ↓
Mesh Decoder
  ↓
三角网格

如果采用离散 Token,训练目标可以写成:

[
L=-\sum_{t=1}^{T}
\log p_\theta(q_t\mid q_{<t},c)
]

其中:

  • (q_t):第 (t) 个 Mesh Token。
  • (c):条件信息,例如点云、图像或三维形状特征。

这种方式将 Mesh 生成转化为类似语言模型的序列预测问题。

但 Mesh Tokenizer 的设计非常关键。直接将所有三角面展开成序列,会面临序列过长、重复顶点、几何连接关系不连续等问题。

MeshAnything V2 进一步研究了相邻网格结构的 Tokenization,以降低序列复杂度。

3.4 Mesh 的定位

Mesh 特别适合:

  • 模型编辑、雕刻和自由曲面形变。
  • 动画与骨骼绑定。
  • 有明确拓扑的物体生成。
  • 碰撞检测和物理仿真。
  • 3D 打印与制造。

不过,一个三角面数量很多的 Mesh,并不必然是一个高质量 Mesh。

面片均匀度、法向、流形性、自交、UV、纹理和拓扑结构,都会影响最终的实际使用价值。


四、Voxel:把三维问题变成 CNN 熟悉的规则网格

二维图像是规则像素网格,那么能否将三维空间也离散成规则网格?

这就是 Voxel 的基本思想。

4.1 稠密体素表示

一个分辨率为 (R) 的三维体素网格可以表示为:

[
V\in\mathbb R^{R\times R\times R\times C}
]

其中每个体素可以存储:

  • Occupancy。
  • SDF / TSDF。
  • RGB。
  • 语义类别。
  • 可学习特征向量。

送入 PyTorch 3D CNN 时,通常整理为:

voxels.shape = (B, C, D, H, W)

这样就可以直接使用 Conv3d、3D U-Net 等网络。

4.2 最大的问题:立方级内存增长

体素分辨率从 (R) 提升到 (2R),体素数量增加到原来的 8 倍。

因此:

[
\text{Memory}=O(R^3)
]

对于高精度重建,这是一个严重的问题。

如果希望重建精细的薄壁结构、曲面细节或者大规模场景,稠密体素很快就会遇到内存瓶颈。

4.3 Sparse Voxel:只计算有数据的区域

实际三维物体大部分空间可能是空的。

Sparse Voxel 的思想是只保存有效空间单元:

[
\mathcal V={(c_i,f_i)}_{i=1}^{N}
]

其中 (c_i) 是离散体素坐标,(f_i) 是特征。

常见 Tensor:

coords.shape = (N, 4)   # batch, x, y, z
feats.shape  = (N, C)

这里的第一个坐标用于区分 Batch,具体排列需要遵守所使用框架的约定。

Sparse Convolution 只在指定的稀疏坐标位置执行计算。

Minkowski Engine、spconv 等框架都属于这类技术生态。

这种表示适合:

  • LiDAR 语义分割。
  • 大规模三维场景分析。
  • 稀疏几何编码。
  • 三维生成中的空间结构预测。

值得注意的是,Sparse Voxel 不等于普通 Point Cloud。前者通常先对位置进行离散化,建立规则空间邻接关系;后者可以保留原始连续坐标。


五、SDF 与 Occupancy:不直接预测表面,而是学习一个函数

在三维重建任务中,隐式表示是一条非常重要的技术路线。

5.1 Occupancy Network

Occupancy Network 学习:

[
f_\theta(x,z)\rightarrow p
]

其中:

  • (x\in\mathbb R^3):空间查询点。
  • (z):输入物体的特征向量。
  • (p\in[0,1]):空间占用概率。

可以将 (p=0.5) 的等值面作为重建表面。

训练时,随机采样空间点,并根据它们在物体内部还是外部构造监督信号。

典型 Tensor:

latent.shape = (B, D)
query.shape  = (B, Q, 3)
output.shape = (B, Q, 1)

这里 (Q) 是一次查询的空间点数量。

5.2 Signed Distance Field

SDF 在每个空间位置预测到物体表面的有符号距离:

[
f_\theta(x,z)=d
]

通常约定:

[
d(x)=
\begin{cases}
-d_{\text{surface}}, & x\text{ 位于物体内部}\
0, & x\text{ 位于表面}\
+d_{\text{surface}}, & x\text{ 位于物体外部}
\end{cases}
]

物体表面定义为:

[
S={x\mid f_\theta(x,z)=0}
]

只要能查询这个函数,就能得到任意空间位置对应的距离。

相对于直接预测网格,SDF 不需要预先固定顶点数量和拓扑。

5.3 DeepSDF:三维形状的潜在编码

DeepSDF 使用一个形状 Latent (z) 和查询点 (x) 预测对应的 SDF:

[
d=f_\theta(z,x)
]

这意味着一个复杂三维物体,可以由一个较低维的 Latent 向量和共享的 Decoder 表示。

在训练完成后,改变 (z) 就可以生成或插值不同的形状。

当输入是不完整的扫描点云时,还可以优化 (z),使其生成的 SDF 与已有几何观测一致,从而完成形状补全。

5.4 SDF 如何恢复成 Mesh?

训练得到的网络通常并不直接保存所有三角面。

推理时需要:

Shape Latent
    ↓
在三维空间采样 Query Points
    ↓
SDF Decoder
    ↓
三维 SDF Grid
    ↓
Marching Cubes
    ↓
Triangle Mesh

这就是典型的隐式场转 Mesh 过程。

Marching Cubes 不一定可微,因此如果希望通过最终 Mesh 的渲染损失反向优化网络,就需要特别设计。

DMTet、FlexiCubes 等工作正是在这一问题上进行了改进。

5.5 为什么 SDF 很适合精确几何?

SDF 可以直接通过梯度计算法向:

[
n(x)=
\frac{\nabla f(x)}
{|\nabla f(x)|}
]

理想距离场还具有:

[
|\nabla f(x)|=1
]

这一性质可以用于构建 Eikonal Loss,从而引入几何正则化。

但需要注意,隐式表示在数学上连续,不代表输出精度无限。网络容量、空间编码、训练采样密度,以及最后提取 Mesh 的分辨率都会限制几何质量。


六、NeRF 与 3DGS:面向渲染的三维表示

SDF 和 Mesh 比较关注物体表面。

NeRF 和 3DGS 则更加关注从任意视角生成图像的能力。

6.1 NeRF:用网络表示辐射场

NeRF 使用函数:

[
f_\theta(x,d)\rightarrow(\sigma,c)
]

其中:

  • (x):空间位置。
  • (d):观察方向。
  • (\sigma):空间密度。
  • (c):颜色。

渲染时沿相机射线采样,通过体积积分得到像素颜色。

典型流程:

Camera Ray
    ↓
Sample 3D Positions
    ↓
Positional Encoding / Spatial Features
    ↓
Neural Field Decoder
    ↓
Density + Color
    ↓
Volume Rendering
    ↓
RGB Image

NeRF 的网络输出并不是 Mesh,而是可以被查询的辐射场。

如果需要 Mesh,还要通过密度场、SDF 或专门的几何提取方法进行转换。

6.2 3DGS:把辐射场变成显式 Gaussian 集合

3DGS 为每个 Gaussian 保存:

[
G_i=(\mu_i,\Sigma_i,\alpha_i,c_i)
]

其中:

  • (\mu_i):三维中心位置。
  • (\Sigma_i):协方差矩阵。
  • (\alpha_i):不透明度。
  • (c_i):颜色或球谐函数系数。

将整个场景写成:

[
G={G_i}_{i=1}^{N}
]

如果每个 Gaussian 的属性被整理成固定长度向量,那么可以形成:

gaussians.shape = (B, N, D)

其中 (D) 取决于颜色表示、球谐阶数和其他附加特征。

但在原始 3DGS 中,通常不是先由一个通用神经网络输出整个 Gaussian 集合,而是直接为单个场景优化 Gaussian 参数,并通过 Densification / Pruning 动态调整 Gaussian 数量。

这一点与 PointNet、DeepSDF 等模型有很大区别。

后续的前馈式 Gaussian 生成网络,才更接近:

[
f_\theta(I_1,\ldots,I_K)\rightarrow G
]

6.3 GS 能否作为网络输入?

当然可以。

每个 Gaussian 可以视为一个带有丰富属性的空间 Token:

[
g_i=[\mu_i,s_i,R_i,\alpha_i,c_i]
]

再使用 Point Transformer、Graph Network 或其他集合网络处理。

但困难在于:

  • Gaussian 数量不固定。
  • 不同 Gaussian 具有不同的空间尺度。
  • Gaussian 之间没有明确的拓扑。
  • 不透明度、尺度和位置存在耦合。
  • 几何表面并非天然明确。

因此,将 GS 作为高效渲染输出是一回事,将它作为通用三维理解网络的输入又是另一回事。

GS 是非常有竞争力的渲染表示,但未必是所有三维理解、形变和几何生成任务最合适的中间表示。


七、Triplane、Hash Grid 与 Sparse Latent:现代三维网络为什么越来越重视中间表示?

直接在三维空间生成完整几何数据可能成本很高。

例如:

  • 点云可能包含几十万点。
  • Mesh 包含可变数量的顶点和面片。
  • 稠密 Voxel 占用大量内存。
  • Gaussian 数量和属性维度也可能很大。

于是出现了一个重要思路:

将复杂三维形状先压缩到更适合神经网络处理的特征空间,再通过专用 Decoder 恢复三维模型。

7.1 Triplane

Triplane 使用三个二维特征平面表示三维空间:

[
F_{xy},F_{xz},F_{yz}
]

对于空间位置:

[
x=(x,y,z)
]

分别从三个平面查询:

[
f(x)=
F_{xy}(x,y)
\oplus
F_{xz}(x,z)
\oplus
F_{yz}(y,z)
]

其中 (\oplus) 可以表示拼接,也可以采用求和等聚合操作。

再利用一个 MLP:

[
g_\theta(f(x))\rightarrow
\text{SDF / Density / Color}
]

Triplane 最大的优势是避免直接保存稠密三维特征网格。

三个二维平面的特征存储复杂度随分辨率近似按:

[
O(R^2)
]

增长,而不是稠密三维网格的 (O(R^3))。

EG3D 就是 Triplane 在三维生成方向上的代表性工作。

不过 Triplane 的实际表达能力还受到平面分辨率、通道数量、Decoder 和采样策略等因素限制。

7.2 Multi-resolution Hash Grid

Hash Grid 使用多层不同分辨率的空间网格,再通过哈希映射存储可学习特征。

给定空间查询点:

[
x\rightarrow
[f_1(x),f_2(x),\ldots,f_L(x)]
]

再用一个轻量 MLP 解码。

Instant-NGP 是这类技术的代表性工作。

其主要贡献在于提供高效的空间特征编码,使小型网络能够学习较复杂的空间细节。

但 Hash Grid 更像是一种空间特征参数化和加速方式,而不是独立、完整的三维资产格式。

7.3 Structured 3D Latent

TRELLIS 和 SAM 3D 所采用的结构化三维潜空间,是一个尤其值得关注的方向。

可以抽象为:

[
Z={(c_i,z_i)}_{i=1}^{N}
]

其中:

  • (c_i):有效稀疏体素位置。
  • (z_i):对应位置的学习特征。
  • (N):有效空间单元数量。

这种结构可以同时利用:

  • 稀疏空间坐标。
  • 神经网络学习到的局部几何特征。
  • 局部纹理与外观特征。

它不必直接存储完整 Mesh,也不必直接存储全部 Gaussian。

更重要的是,同一个结构化 Latent 可以通过不同 Decoder 恢复多种输出。

Image / Point Cloud / Text
           ↓
    Condition Encoder
           ↓
  3D Latent Generator
           ↓
   Structured 3D Latent
           |
    +------+------+
    |             |
 Mesh Decoder   GS Decoder
    |             |
  Mesh           3DGS

TRELLIS 使用这种思想支持 Mesh、Gaussian 和 Radiance Field 等不同的三维输出。

SAM 3D Objects 则进一步将这一类三维生成机制应用于真实场景中的单图物体重建,并处理物体布局和姿态。

需要注意,TRELLIS 和 SAM 3D 是不同的模型系统,不能简单认为它们的 Latent 编码、Decoder 权重完全通用。


八、网络的输入输出组合:实际项目中怎么设计?

前面介绍了各种表示,但真正设计一个三维网络时,更重要的是选择输入和输出的组合。

8.1 常见组合

网络输入网络输出常见任务与技术路线
Point CloudPoint Cloud去噪、补全、重采样
Point CloudSDF连续曲面重建、形状补全
Point CloudMesh点云表面重建
MeshMesh形变、网格优化
MeshMesh Tokens拓扑编码与网格生成
VoxelVoxel占用预测、3D 分割
Sparse VoxelSparse Features大规模三维感知、生成
ImagePoint Cloud单目三维点预测
ImageSDF / Occupancy单图几何重建
Image3DGS前馈式新视角合成
Image3D Latent三维生成与重建
3D LatentMesh / 3DGS多格式三维解码
MeshPoint Cloud几何采样与监督
SDFMesh等值面提取
3DGSMeshGaussian 表面重建

这些转换并非全部可逆,也不保证没有信息损失。

例如,从 Mesh 采样成点云后,原来的三角面连接关系通常就丢失了。

从 GS 转为 Mesh,则需要额外的表面定义、深度融合或几何提取机制。

8.2 三种最有代表性的 Shape-to-Shape 网络

第一类:Point Cloud Autoencoder

Input Point Cloud
       ↓
PointNet / Point Transformer Encoder
       ↓
Global or Hierarchical Latent
       ↓
Point Decoder
       ↓
Output Point Cloud

这种方式简单、容易训练,适合作为点云补全、去噪和 Shape Autoencoder 的基线。

第二类:Point Cloud → SDF → Mesh

Input Point Cloud
       ↓
Point Encoder
       ↓
Shape Latent
       ↓
Conditional SDF Network
       ↓
SDF Field
       ↓
Marching Cubes / DMTet
       ↓
Output Mesh

这种方式具有更明确的连续表面建模能力。

如果目标是高质量几何重建,我认为这是一条很值得研究的路线。

第三类:3D Latent → Mesh / GS

Input 3D Shape
       ↓
Sampling / Voxelization / Feature Encoding
       ↓
3D Latent Encoder
       ↓
Latent Transformer / Diffusion / Flow Model
       ↓
Generated 3D Latent
       |
       +--> Mesh Decoder
       |
       +--> Gaussian Decoder

第三种方式的核心优势在于,生成模型可以在一个相对紧凑的潜在空间中进行计算。

但它也引入一个新问题:Latent 是否能够完整保留原始三维模型的精细几何?

如果 Latent 的编码分辨率或者训练数据不足,再强的生成网络也不一定能恢复细小结构。


九、三维数据进入网络之前,需要做哪些预处理?

这一部分在实际工程中往往比网络结构更容易影响结果。

9.1 坐标系统一

三维数据可能使用:

  • 不同的单位:米、厘米、毫米。
  • 不同坐标手性。
  • 不同 Up Axis。
  • 物体局部坐标系、世界坐标系、相机坐标系。

因此需要首先统一坐标约定。

对于一个物体点:

[
p’=sR(p-t)
]

可以实现中心平移、旋转对齐和尺度归一化。具体变换顺序取决于所采用的坐标系约定。

对于物体级生成模型,经常将物体归一化到单位包围盒或近似单位球内。

但对于高精度三维扫描,应同时保存归一化变换和逆变换。

否则,网络虽然输出了正确的归一化形状,却可能丢失真实物理尺度。

9.2 Point Cloud Sampling

对于点云网络,通常需要控制输入点数量。

常见方法:

  • Random Sampling:简单快速,但分布可能不均匀。
  • Farthest Point Sampling:提高空间覆盖率。
  • Voxel Downsampling:保证一定的空间分辨率。
  • Importance Sampling:重点保留边缘、曲率高或不确定区域。

采样策略不是无关紧要的细节。

例如,对于带薄壁、尖角、狭窄凹槽的机械零件,均匀下采样可能删除对最终精度最重要的结构。

9.3 Mesh 预处理

如果使用 Mesh 作为输入,常见处理包括:

  • 删除重复顶点和退化三角形。
  • 检查法向方向。
  • 修复非流形结构。
  • 检查自交。
  • 统一面片朝向。
  • 重网格化或简化。
  • 计算邻接关系。
  • 提取曲率、面积和法向特征。

如果需要计算可靠的 Signed Distance,则还需要关注 Mesh 是否闭合、是否具有一致的内部与外部定义。

开放网格的 Signed Distance 并不总是有明确的物理意义。

9.4 SDF Sampling

SDF 网络通常不会在整个三维空间中均匀采样所有训练点。

更常见的是混合采样:

[
P(x)=
\lambda P_{\text{surface}}(x)
+(1-\lambda)P_{\text{uniform}}(x)
]

一部分点采样在表面附近,另一部分点采样在物体包围盒内部。

原因很简单:如果大量采样点都远离表面,网络可能很难学习到精确的零水平集。

对于高精度重建,还可以提高边缘、凹槽和薄结构附近的采样密度。

9.5 网络 Batch 处理

三维数据往往具有可变长度。

两个不同物体可能分别有 20,000 和 100,000 个点,而两个 Mesh 的面片数量也可能相差几个数量级。

常见 Batch 处理策略包括:

  • 固定数量采样。
  • Padding + Valid Mask。
  • Ragged / Packed Tensor。
  • Sparse Tensor + Batch Index。
  • 将数据划分为空间 Patch 或 Token。

其中,Padding 虽然方便,但如果样本长度差异很大,会造成明显的计算浪费。


十、三维网络训练通常使用哪些损失函数?

三维网络的输出没有统一形式,因此也不存在一种适合所有任务的损失函数。

10.1 Point Cloud:Chamfer Distance

对于预测点云 (P) 和目标点云 (Q):

[
L_{\text{CD}}=
\frac{1}{|P|}
\sum_{p\in P}\min_{q\in Q}|p-q|2^2
+
\frac{1}{|Q|}
\sum
{q\in Q}\min_{p\in P}|q-p|_2^2
]

Chamfer Distance 容易计算,也非常常见。

但它可能对局部点密度、离群点和薄结构不够敏感,不能保证拓扑正确。

除了 Chamfer Distance,还可以考虑 Earth Mover’s Distance、法向一致性和局部结构损失。

10.2 Mesh:表面与拓扑相关损失

Mesh 常见损失包括:

Laplacian Smoothness

限制局部顶点偏移,减少不必要的表面振荡。

Normal Consistency

鼓励相邻三角面法向保持合理一致。

Edge Length Regularization

约束边长分布,避免过度拉伸或退化面片。

ARAP Loss

约束局部形变尽可能保持刚性。

这些几何损失有助于生成更自然的表面,但权重过大也可能抹除真实的高频几何细节。

10.3 SDF:距离损失与 Eikonal Loss

距离监督:

[
L_{\text{SDF}}=
\mathbb E_x
\left|
f_\theta(x,z)-d_{gt}(x)
\right|
]

Eikonal Loss:

[
L_{\text{eik}}=
\mathbb E_x
\left(
|\nabla f_\theta(x,z)|-1
\right)^2
]

对于多视图重建,还可以引入深度、轮廓和法向监督。

10.4 GS / NeRF:图像渲染损失

常见目标为:

[
L_{\text{render}}=
\lambda_1 L_1+
\lambda_2 L_{\text{SSIM}}
+\lambda_3 L_{\text{LPIPS}}
]

如果能够获得真实深度和法向,还可以添加:

[
L=
L_{\text{render}}
+\lambda_d L_{\text{depth}}
+\lambda_n L_{\text{normal}}
]

这里必须注意:

图像渲染误差小,并不代表真实几何误差小。

网络可以利用透明度、颜色或者错误的表面位置补偿视觉误差,从而得到看起来正确但几何不准确的结果。

10.5 生成式模型:Latent Reconstruction / Diffusion / Flow Loss

对于使用 VAE 的三维 Latent 表示,可以采用:

[
L=
L_{\text{reconstruction}}
+\beta D_{\text{KL}}(q(z|x)|p(z))
]

对于离散 Token 模型,常见的是 Cross Entropy。

对于 Diffusion 或 Flow Matching 模型,则使用对应的去噪或速度场学习目标。

这类损失关注生成分布的建模,并不自动保证最终物体满足工程尺寸、公差或流形条件。


十一、从网络输出到最终三维模型,还需要哪些步骤?

网络产生三维预测,不等于已经得到可编辑、可打印的模型。

例如:

网络输出后处理最终结果
Point Cloud法向估计、Poisson ReconstructionMesh
Occupancy空间查询、等值面提取Mesh
SDFMarching Cubes / DMTetMesh
3DGS表面提取、重建或深度融合Mesh
Sparse LatentMesh DecoderMesh
Mesh TokensToken 解码、拓扑修复Mesh
Mesh修复、简化、UV、材质烘焙可编辑三维资产

特别是对于 3D 打印,还需要:

  • 水密性检查。
  • 自交及非流形修复。
  • 法向一致性。
  • 壁厚检查。
  • 真实尺度恢复。
  • 必要的支撑和切片处理。

对于三维建模与动画,则需要更加关注拓扑、UV、材质和可形变性。

因此,评价一个三维生成模型,不应该只看最终渲染图像是否漂亮。

还应该看生成的几何是否便于实际使用。


十二、从技术演进看,未来三维网络会采用什么表示?

回顾这些技术的发展,可以看到几条非常明显的趋势。

第一阶段:直接处理经典三维数据

典型代表:

  • PointNet。
  • PointNet++。
  • MeshCNN。
  • 3D CNN。

这个阶段主要解决如何让神经网络理解不规则三维数据。

第二阶段:将三维形状转换为连续函数

典型代表:

  • Occupancy Networks。
  • DeepSDF。
  • NeuS。

这个阶段开始摆脱固定拓扑和固定点数的限制,通过函数表示连续的几何表面。

第三阶段:使用高效的空间特征结构

典型代表:

  • Instant-NGP。
  • EG3D。
  • Sparse Voxel Networks。
  • Point Transformer V3。

这个阶段重点解决三维网络的表达能力和计算效率问题。

第四阶段:三维 Token 与生成式 Latent

典型代表:

  • MeshGPT。
  • MeshAnything。
  • TRELLIS。
  • SAM 3D。

这个阶段开始将三维几何生成和 Transformer、Diffusion、Flow Matching 等生成模型结合起来。

这里最值得关注的变化是:

网络不一定需要直接生成最终的 Mesh 或 GS。它可以先生成一个统一的三维 Latent,再通过不同的 Decoder 输出几何、材质和渲染表示。

当然,这并不意味着所有三维任务都会收敛到同一种通用 Latent。

高精度扫描、CAD 建模、人体动画和照片级场景重建,对几何精度、结构和外观的需求差异非常大。

我更看好的方向:几何与外观解耦

未来的三维网络可以采用类似的设计:

Input 3D Shape / Images
            ↓
      Geometry Encoder
            ↓
   Structured 3D Latent
            |
      3D Generative Model
            |
     Refined 3D Latent
            |
    +-------+--------+
    |                |
Geometry Decoder  Appearance Decoder
    |                |
  SDF / Mesh       Texture / GS
    |                |
    +-------+--------+
            ↓
      3D Asset / Renderer

对于精确三维重建,可以让 Geometry Branch 更多地受真实扫描数据、深度和法向约束。

对于外观生成,则可以使用图像渲染监督以及生成式纹理先验。

这样有望在保持几何精度的同时,提升完整性和真实感。


十三、工程实践:到底应该选什么表示?

不同任务建议采用不同路线。

目标推荐输入网络中间表示推荐输出
三维物体分类Point CloudPoint FeaturesClass
点云语义分割Point Cloud / Sparse VoxelSparse FeaturesPoint Labels
点云补全Partial Point CloudPoint / 3D LatentPoint Cloud / SDF
高精度曲面重建Point Cloud / MVS DepthSDF / TSDF / Geometry FeaturesMesh
物体自由形变MeshMesh / Deformation FieldMesh
三维资产生成图像 / 文本 / 三维条件Structured Latent / TokensMesh
新视角合成多视图图像GS / Radiance FieldRendered RGB
可重打光资产图像 / 三维几何Geometry + Material FeaturesMesh + PBR
三维动画Mesh / PoseDeformation / Rig / Motion LatentAnimated Mesh
扫描到 3D 打印Point Cloud / MeshSDF + Geometry PriorWatertight Mesh

如果目标是从真实物体扫描得到一个准确、可编辑的三维模型,我会推荐:

[
\boxed{
\text{Point Cloud / MVS}
\rightarrow
\text{SDF / TSDF}
\rightarrow
\text{Mesh}
}
]

如果目标是三维内容生成,则可以考虑:

[
\boxed{
\text{3D Condition}
\rightarrow
\text{Structured Latent}
\rightarrow
\text{Mesh / GS}
}
]

如果主要是三维场景的真实感渲染,则仍然可以优先采用 GS 或其他高效 Radiance Field。

对于同时追求精确几何和高质量外观的系统,可以进一步探索:

[
\boxed{
\text{Geometry: SDF / Mesh}
+
\text{Appearance: GS / PBR}
}
]

最终,不一定需要让同一种表示完成所有任务。


十四、值得阅读的代表性论文

以下论文可以按照技术路线逐步学习。

Point Cloud 与几何理解

  1. PointNet: Deep Learning on Point Sets for 3D Classification and Segmentation(CVPR 2017)
    点云深度学习的经典起点,理解无序点集与对称聚合。
  2. MeshCNN: A Network with an Edge(SIGGRAPH 2019)
    理解如何直接利用 Mesh 拓扑进行学习。
  3. Point Transformer V3: Simpler, Faster, Stronger(CVPR 2024)
    研究大规模点云序列化和高效 Transformer。

隐式几何与连续表面

  1. Occupancy Networks(CVPR 2019)
    理解如何用连续 Occupancy Function 表示物体表面。
  2. DeepSDF(CVPR 2019)
    理解形状 Latent、SDF Decoder 和几何补全。
  3. NeuS(NeurIPS 2021)
    研究如何将 SDF 与多视图可微渲染结合起来。

神经渲染与三维空间编码

  1. EG3D(CVPR 2022)
    理解 Triplane 和高效三维生成。
  2. 3D Gaussian Splatting(SIGGRAPH 2023)
    理解显式 Gaussian 表示与高效可微渲染。

直接 Mesh 生成与三维基础模型

  1. MeshGPT(CVPR 2024)
    将三角网格转换成离散 Token,利用 Transformer 生成 Mesh。
  2. MeshAnything(ICLR 2025)
    探索如何根据给定形状生成更适合编辑的艺术家风格 Mesh。
  3. MeshAnything V2(ICCV 2025)
    进一步研究网格的序列化和拓扑建模。
  4. TRELLIS: Structured 3D Latents(CVPR 2025)
    非常值得关注的结构化三维潜空间生成框架。
  5. SAM 3D: 3Dfy Anything in Images(CVPR 2026)
    研究真实图像条件下的形状、纹理与物体姿态生成。

系统性综述

  1. Recent Advances and Trends in Learning-Based 3D Representations(Computer Graphics Forum,2026)
    专门从三维表示的角度比较显式、隐式与神经表示,适合作为进一步研究的参考资料。

结语

回顾三维深度学习的发展,可以看到一个很清晰的技术变化。

早期的网络主要学习如何处理 Point Cloud、Mesh 和 Voxel;随后,DeepSDF、Occupancy Networks 和 NeRF 证明了连续函数也可以高效表示三维空间;近年来,3DGS、Triplane、Sparse Voxel 和 Structured Latent,又进一步探索了几何表达能力与计算效率之间的平衡。

而 MeshGPT、TRELLIS、SAM 3D 等工作,则将这些表示与生成式模型结合起来,使三维重建和内容创作具备了更多可能性。

在设计三维网络时,我认为应该始终分清三个问题:

输入表示决定了网络如何获取三维信息,中间表示决定了网络如何学习和计算,输出表示决定了最终模型能用来做什么。

好的三维系统不一定需要采用统一的表示。

对于精确几何,可以使用 SDF 和 Mesh;对于高质量视觉渲染,可以使用 GS;对于生成式建模,可以使用稀疏三维 Latent 或 Mesh Token。

真正值得探索的,是如何在不同表示之间建立高效、可靠、尽可能少损失信息的转换关系。

这或许也是未来三维基础模型和传统几何重建技术融合的重要方向。

发表评论