空间智能综述：从三维感知到空间推理

2026-04-29

1. 引言

空间智能

空间智能（Spatial Intelligence）是指 AI 系统感知、理解、推理和交互三维物理世界的综合能力。与人类从婴幼儿期便开始发展的空间认知类似，空间智能涵盖了对物体形状、场景布局、三维空间关系以及动态变化的全面理解。作为具身智能（Embodied AI）的核心基础，空间智能的研究近年来随着深度学习、神经渲染以及大型多模态模型的飞速发展而进入了全新阶段。

从应用价值来看，空间智能横跨多个高价值领域：在自动驾驶中，精确的三维感知与动态目标检测是安全行驶的前提；在机器人操控中，六自由度的空间理解决定了机械臂的抓取成功率；在增强现实与虚拟现实（AR/VR）中，实时高质量的三维重建与空间锚定是沉浸式体验的关键；在具身 AI 智能体中，空间记忆与三维场景图是任务规划与导航的基础。

研究空间智能面临的核心挑战来自三维数据的内在复杂性：三维标注数据的稀缺与昂贵、点云/体素/隐式表达之间的表示多样性、真实世界动态场景的时变性，以及三维几何与语义理解的跨模态融合难题。近年来，从 NeRF 到三维高斯溅射（3D Gaussian Splatting，3DGS），从 PointNet 到 Point Transformer，从单目深度估计到空间推理 VLM，空间智能领域正经历着技术范式的快速迭代。

本文旨在系统梳理空间智能研究进展，为学习和研究空间智能提供参考。

2. 空间智能基本概述

2.1 什么是空间智能？

空间智能是一个多层次的能力体系，从低层几何感知到高层空间推理，可划分为以下四个层次：

空间感知（Spatial Perception）：获取三维几何信息，包括深度估计、点云获取与处理、三维形状重建。
空间重建（Spatial Reconstruction）：从多视角图像或传感器数据建立场景的三维模型，包括 SLAM、MVS、NeRF、3DGS 等技术。
空间理解（Spatial Understanding）：对三维场景进行语义解析，包括三维目标检测、三维实例分割、场景图生成与视觉定位。
空间推理（Spatial Reasoning）：在三维空间中进行高阶认知，包括空间关系判断（物体 A 是否在 B 的左侧？）、视角变换推理，以及语言引导的三维交互。

这四个层次构成了空间智能的完整能力栈：感知为重建提供原始数据，重建为理解提供几何基础，理解为推理提供语义上下文。

2.2 感知硬件基础

空间智能的源头是多样的传感器，硬件特性直接决定了算法的选择与感知上限：

传感器类型	原理	优势	局限	应用场景
激光雷达 (LiDAR)	激光飞行时间 (ToF)	精度极高、抗光照干扰、直接 3D	成本高、点云稀疏、无颜色	自动驾驶、地形测绘
RGB-D 相机	结构光 / 局域 ToF	像素级对齐、室内精度高	室外易受干扰、量程有限	机器人导航、AR/VR
立体视觉 (Stereo)	双目视差计算	成本低、室内外通用	依赖纹理、弱光表现差	工业视觉、避障
单目相机	透视投影	极其廉价、部署便捷	存在尺度歧义、需学习先验	消费级电子、广域监控
事件相机	像素级亮度变化	极高动态范围、低延迟	空间分辨率低、输出异构	高速运动捕捉、无人机

2.3 核心要素与技术体系

空间智能的技术体系围绕三维表示展开，主流形式对比如下：

表示形式	特点	硬件适配	代表技术
点云 (Point Cloud)	稀疏、无序、直接采集	LiDAR、RGB-D	PointNet, Point Transformer
体素 (Voxel Grid)	规则、密集、内存开销大	全局建模	VoxNet, OccNet
网格 (Mesh)	面片表示、适合渲染	3D 扫描	Marching Cubes
隐式场 (Implicit Field)	连续、可微、内存高效	多视角图像	NeRF, SDF
三维高斯 (3D Gaussian)	显式、快速渲染、可优化	多视角图像	3DGS
深度图 (Depth Map)	像素对齐、计算友好	单目/双目	Monocular Depth Estimation

2.4 评价指标速查表

维度	指标	含义	适用任务
几何精度	CD (Chamfer Distance)	点集间的平均欧氏距离	点云配准、形状重建
	EMD (Earth Mover’s Distance)	两个分布间的推土机距离	形状生成、点云生成
	AbsRel / RMSE	深度预测的绝对误差与均方根误差	深度估计
理解精度	mIoU (Mean IoU)	预测框与真值的交并比均值	语义/实例分割、检测
	mAP (Mean Average Precision)	平均精度均值（多阈值下的召回/精确度）	三维目标检测
推理/对话	CIDEr / BLEU-4	生成文本与参考答案的共现相似度	3D Captioning / 3D VQA
	EM (Exact Match)	答案完全匹配的比例	3D 视觉问答
重建质量	PSNR / SSIM	渲染图像的峰值信噪比与结构相似度	视角合成 (NeRF/3DGS)

2.5 研究趋势与汇聚路径

graph TD
    %% 路径 1: 点云/离散几何
    subgraph Path_Point ["离散几何路径 (Discrete Geometry)"]
        P1["PointNet (2017)"] --> P2["PointNet++ (2017)"]
        P2 --> P3["Point Transformer (2021)"]
        P3 --> P4["Uni3D / OpenShape (2024)"]
    end

    %% 路径 2: 深度/重建
    subgraph Path_Recon ["深度与重建路径 (Depth & Reconstruction)"]
        R1["DPT (2021)"] --> R2["Depth Anything (2024)"]
        R1 --> R3["NeRF (2020)"]
        R3 --> R4["Instant-NGP (2022)"]
        R4 --> R5["3D Gaussian Splatting (2023)"]
        R2 --> R6["DUSt3R / MASt3R (2024)"]
    end

    %% 路径 3: 空间语言模型
    subgraph Path_Lang ["空间语言融合 (3D + Language)"]
        L1["ScanRefer (2020)"] --> L2["3D-LLM (2023)"]
        L2 --> L3["SplatTalk / GaussianVLM (2025)"]
    end

    %% 汇聚点
    P4 & R6 & L3 --> F["通用空间智能基础模型 (Spatial Foundation Models)"]

    style F fill:#f96,stroke:#333,stroke-width:4px

关键里程碑：

2015–2017：PointNet 奠定了直接在无序点云上进行深度学习的基础，开启了三维深度学习新纪元。
2018–2020：VoxelNet、PointPillars 推动了自动驾驶 LiDAR 感知商业化；NeRF 的提出彻底改变了三维重建技术范式。
2021–2022：Transformer 架构被引入三维感知（Point Transformer、DETR3D、BEVFormer），性能大幅提升；Instant-NGP 将 NeRF 训练时间压缩至秒级。
2023：3D Gaussian Splatting 实现实时高质量渲染；3D-LLM、EmbodiedScan 将语言模型与三维场景理解结合。
2024–2025：Depth Anything、SpatialVLM、DUSt3R、Uni3D 等工作推动空间感知基础模型形成，空间智能进入”大模型驱动”新阶段。

3. 任务分类体系

1. 几何感知类：以获取和处理三维几何信息为核心。典型任务包括单目/双目深度估计、点云配准（ICP、RANSAC）、法向量估计等。

2. 三维重建类：从图像序列或传感器数据恢复场景的三维结构。包括** SfM、MVS、SLAM、神经隐式重建（NeRF、3DGS）**等。

3. 三维检测与识别类：在三维空间中定位并分类物体。包括三维目标检测、三维实例/语义分割、三维场景图生成。

4. 空间理解与推理类：在三维语义层面建立高层理解。包括三维视觉定位、三维视觉问答、空间关系推理。

5. 具身空间导航类：在智能体主动探索的背景下使用空间智能。包括目标驱动导航、三维语义地图构建、空间记忆网络。

4. 空间智能技术演进范式

4.1 离散几何表示与点云处理

PointNet

PointNet（Qi et al., CVPR 2017）是第一个直接在无序三维点云上端到端学习的深度神经网络，彻底改变了三维深度学习的研究范式。其核心设计思想是：对点集的任意排列保持置换不变性，对刚体变换保持变换不变性。

核心设计：

对每个点独立应用共享 MLP，将点坐标映射到高维特征空间。
使用对称函数（max pooling）聚合全局特征，自然解决无序问题。
T-Net（Transformer Network）学习输入点云的对齐变换（$3\times3$）和特征对齐变换（$64\times64$），提升旋转鲁棒性。

核心特点：

无需体素化，直接处理原始点云，计算高效。
可用于分类、部分分割、语义分割三类任务。
奠定了点云深度学习”点独立处理+对称聚合”的基本范式。

PointNet 网络架构：对每个点独立应用共享 MLP 提取特征，通过 Max Pooling 对称聚合得到全局特征向量，T-Net 分别对输入点坐标（3×3）和特征空间（64×64）学习对齐变换。

PointNet++

PointNet++（Qi et al., NeurIPS 2017）针对 PointNet 无法捕捉局部几何结构的缺陷，引入层级化的局部特征学习机制。

核心设计：

最远点采样（FPS）：递归选取与已选点集距离最远的点，得到空间均匀分布的采样子集。
Ball Query 分组：以采样点为中心，在球形邻域内收集局部点集。
层级化 PointNet：在局部点集上应用 PointNet 提取局部特征，再在更高层的局部区域上再次聚合，类比 CNN 的感受野逐层扩大。
多尺度分组（MSG）：在不同半径球域内聚合特征，增强对点云密度变化的鲁棒性。

核心特点：

解决了 PointNet 对局部几何信息感知不足的问题。
自适应处理非均匀点云密度。
奠定了”采样+分组+聚合”的点云学习标准范式，后续工作（DGCNN、Point Transformer 等）均在此框架下扩展。

PointNet++ 层级化特征学习：通过 FPS 采样 → Ball Query 分组 → PointNet 局部特征提取的反复堆叠，逐层扩大感受野；分割任务额外使用插值上采样将特征传回原始点集。

DGCNN

DGCNN（Dynamic Graph CNN，Wang et al., TOG 2019）将图神经网络（GNN）引入点云处理。不同于在欧氏空间中构建固定 k 近邻图，DGCNN 在特征空间中动态更新 k-NN 图，捕捉语义上相近但空间上未必相邻的点对关系。

EdgeConv 操作计算每个点与其 k 近邻之间的边特征： $e_{ij} = h_\Theta(x_i,\ x_j - x_i)$ 通过聚合边特征获得节点新特征。每层 EdgeConv 后，图结构在特征空间重新计算（动态更新），使网络同时保留局部和非局部几何信息。

核心特点：

动态图结构能捕捉语义关联，而非仅依赖空间邻近性。
EdgeConv 操作简洁高效，易于集成至各类点云架构。

DGCNN 架构与 EdgeConv 操作：在特征空间动态构建 k-NN 图（每层重新计算），计算中心点与邻居的边特征后聚合；多层 EdgeConv 堆叠后接 Max Pooling 得到全局描述符。

Point Transformer

Point Transformer v1（Zhao et al., ICCV 2021）将自注意力机制引入点云处理。其向量自注意力为每个特征维度分配独立的注意力权重（区别于标量注意力），并引入位置编码捕捉局部几何关系： $y_i = \sum_{x_j \in \mathcal{N}(x_i)} \rho\!\left(\gamma\!\left(\phi(x_i) - \psi(x_j) + \delta\right)\right) \odot \left(\alpha(x_j) + \delta\right)$ 其中 $\delta$ 为点位置编码，$\rho$ 为 softmax 归一化，$\gamma$ 为关系网络。Point Transformer v2（Wu et al., NeurIPS 2022）引入分组向量注意力与多头机制，在 ScanNet 语义分割等基准上达到当时的最优性能。

核心特点：

基于 Transformer 的局部自注意力，捕捉细粒度局部几何特征。
位置编码设计使网络对点云几何结构具有明确的感知能力。
确立了点云 Transformer 的标准架构，后续 Point Transformer v3（2024）进一步在大规模数据上预训练。

Point Transformer 向量自注意力：为每个特征维度分配独立注意力权重（区别于标量注意力），位置编码 δ 基于近邻点坐标差学习，同时注入注意力权重和值向量，捕捉局部几何关系。

三维感知基础模型 (2024-2025 最新进展)

Uni3D（Zhou et al., ICLR 2024）是首个大规模统一三维感知基础模型。通过在 1000 万以上三维对象上进行对比预训练，Uni3D 学习到跨类别、跨数据集的通用三维点云特征，在零样本三维理解和跨模态检索（点云↔图像↔文本）等任务上取得突破性进展。

OpenShape（Liu et al., NeurIPS 2023）利用文本-三维形状对进行大规模多模态对比学习，将 CLIP 的开放词汇理解能力迁移至三维领域，支持零样本三维分类（ModelNet40 上约 85% top-1 准确率，无需三维训练数据）。

Point-BERT（Yu et al., CVPR 2022）和 Point-MAE（Pang et al., ECCV 2022）将 BERT/MAE 自监督预训练引入点云领域，推动三维感知基础模型的形成。

4.2 密集几何感知与深度估计

DPT

DPT（Dense Prediction Transformer，Ranftl et al., ICCV 2021）将视觉 Transformer（ViT）引入密集预测任务（深度估计与语义分割），将 ViT 各层 patch token 特征图融合进解码器，实现高分辨率密集输出。

DPT 训练采用尺度不变损失（Scale-Invariant Loss）： $\mathcal{L}_{si} = \frac{1}{n}\sum_i d_i^2 - \frac{\lambda}{n^2}\left(\sum_i d_i\right)^2$ 其中 $d_i = \log \hat{y}_i - \log y_i$ 为预测值与真实值对数之差，$\lambda$ 控制全局尺度惩罚项的权重。该损失对绝对尺度不敏感，适用于单目深度估计的固有尺度歧义性。

核心特点：

首次在深度估计中使用纯 ViT 特征提取，利用大感受野捕捉全局场景结构。
多尺度特征融合，从粗到细捕捉不同层次的深度信息。
在相对深度零样本迁移中具有很强的跨数据集泛化性。

DPT 架构：以 ViT 为骨干提取多层 patch token，通过 Reassemble 操作恢复空间分辨率得到多尺度特征图，再经 Fusion 解码器逐步上采样融合，输出高分辨率密集深度预测。

Depth Anything 系列

Depth Anything（Yang et al., CVPR 2024）是迄今最具代表性的单目深度估计基础模型。其核心创新在于大规模半监督数据引擎：以 150 万张有标注图像为种子，利用教师模型为 6200 万张无标注图像生成伪标签，再以强数据增强对学生模型进行强制泛化训练，突破了标注数据瓶颈。

Depth Anything V2（NeurIPS 2024）进一步引入高质量合成数据（Hypersim、Virtual KITTI）改善细粒度深度预测，并提供绝对尺度（Metric Depth）版本，适用于机器人导航等需要真实深度值的应用场景。

核心特点：

DINOv2 作为骨干网络提供强大的语义先验。
零样本泛化能力显著优于前代模型，在未见场景上表现稳定。
V2 版本的细节质量（边缘清晰度、薄结构）得到显著改善。

Depth Anything 半监督数据引擎：以 150 万有标注图像训练教师模型，对 6200 万无标注图像生成伪标签，再以强数据增强（色彩畸变、CutMix 等）训练学生模型，强迫其学习更鲁棒的深度先验。

Marigold

Marigold（Ke et al., CVPR 2024）将扩散模型（Diffusion Model）引入深度估计，利用 Stable Diffusion 中蕴含的图像先验，通过在少量真实深度数据上微调实现强大的零样本深度估计。其核心洞察是：预训练扩散模型中编码了丰富的场景几何先验，可高效迁移至深度估计任务而无需大规模重新训练。

核心特点：

基于扩散模型的生成式深度估计框架，通过多步去噪生成深度图。
仅需在少量有标注数据上微调即可达到 SOTA 性能。
生成的深度图具有丰富的细节和清晰的边界，在弱纹理/重复纹理区域表现尤为突出。

Marigold 推理流程：将 RGB 图像编码至 Stable Diffusion 潜在空间，通过迭代去噪步骤生成深度图潜变量，最后解码为相对深度图。

4.3 神经三维重建：从隐式到显式

NeRF

NeRF（Neural Radiance Fields，Mildenhall et al., ECCV 2020）是近年来三维视觉领域最具影响力的工作之一。NeRF 用一个全连接网络 $F_\Theta: (\mathbf{x}, \mathbf{d}) \to (\mathbf{c}, \sigma)$ 将三维坐标 $\mathbf{x}$ 和视角方向 $\mathbf{d}$ 映射为颜色 $\mathbf{c}$ 和体积密度 $\sigma$，通过可微体积渲染方程合成图像： $\hat{C}(\mathbf{r}) = \int_{t_n}^{t_f} T(t)\,\sigma\!\left(\mathbf{r}(t)\right)\mathbf{c}\!\left(\mathbf{r}(t),\mathbf{d}\right)\mathrm{d}t$ 其中 $T(t) = \exp!\bigl(-\int_{t_n}^{t}\sigma(\mathbf{r}(s))\,\mathrm{d}s\bigr)$ 为沿光线的累积透射率。以重建图像与真实图像的光度损失（MSE/SSIM）监督网络训练。

核心特点：

全隐式连续表示，内存高效，可渲染任意分辨率。
可微渲染支持端到端优化，无需显式三维监督。
高质量新视角合成，擅长细节纹理与镜面反射。
局限：训练缓慢（数小时/场景）、仅表示静态场景、不同场景间无泛化性。

NeRF 渲染原理：沿相机光线均匀采样后用 Coarse MLP 估计密度分布，再对高密度区域重要性采样后送入 Fine MLP，最终通过体积渲染方程积分得到像素颜色，与真实图像的光度损失反向传播优化网络权重。

重要扩展：Mip-NeRF（处理混叠）、Mip-NeRF 360（无界场景）、Instant-NGP（哈希编码，加速至秒级）、Block-NeRF（大规模城市场景）。

3D Gaussian Splatting

3D Gaussian Splatting（Kerbl et al., SIGGRAPH 2023）是 2023 年三维重建领域最重要的突破，以实时高质量渲染彻底改变了神经渲染领域格局。

3DGS 用一组各向异性三维高斯基元显式表示场景，每个高斯由以下参数描述：

位置（均值）$\mu \in \mathbb{R}^3$
协方差矩阵，通过旋转矩阵 $R$ 和缩放向量 $s$ 分解：$\Sigma = RSS^TR^T$
不透明度 $\alpha$
球谐函数（SH）系数，描述视角相关外观

渲染时将三维高斯投影到图像平面（Splatting），按深度排序后进行 $\alpha$-混合，得到最终像素颜色。自适应密度控制机制根据梯度信息自动克隆或删除高斯基元，实现几何细节的自动校准。

核心特点：

显式表示，避免 NeRF 的体积渲染开销，实现实时渲染（>30 FPS @ 1080p）。
可微分，支持端到端梯度优化。
训练速度远快于 NeRF（分钟级），且渲染质量更高。
局限：高斯基元数量庞大（数百万），存储开销较大；对无纹理平滑区域建模较弱。

3D Gaussian Splatting 概览：从 SfM 稀疏点云初始化高斯基元，将三维高斯投影至图像平面后按深度排序进行 α-混合渲染，梯度驱动的自适应密度控制（Clone/Split）自动增殖或修剪高斯。

端到端稠密三维重建 (2024-2025)

DUSt3R（Wang et al., CVPR 2024）提出端到端稠密三维重建新范式，将传统 SfM 管线（特征匹配→位姿估计→密集重建）统一为单一 Transformer 网络：输入任意图像对（无需已知相机参数），直接预测稠密点图（Pointmap），再通过全局优化融合多图。DUSt3R 突破了传统方法对高重叠度图像对的依赖，在极端视角变换下依然稳健。

MASt3R（Leroy et al., 2024）在 DUSt3R 基础上增加局部特征匹配能力，进一步提升多视角三维重建的鲁棒性与精度，同时支持稀疏匹配任务。两者共同代表了三维重建向”前馈基础模型”方向的重要转变。

三维生成与单图重建

Zero-1-to-3（Liu et al., ICCV 2023）利用扩散模型从单张 RGB 图像生成任意视角下的新视角图像，为单图三维重建提供了新思路。Zero123++（Shi et al., 2023）、One-2-3-45（Liu et al., 2024）进一步提升了多视角一致性和生成速度。

LRM（Large Reconstruction Model，Hong et al., ICLR 2024）基于大型 Transformer 的前馈三维重建模型，从单张图像在数秒内生成三维 NeRF，代表了三维重建从基于优化到前馈推理的范式转变。CAT3D（Google DeepMind，2024）利用扩散模型从极少量输入图像（1–3 张）生成多视角一致的三维场景，进一步放宽了对输入数量的要求。

动态场景建模 (4D)

静态 3DGS 在动态场景建模上存在局限。Dynamic 3D Gaussians（Luiten et al., 3DV 2024）为每个高斯引入时间轨迹，追踪多帧场景中粒子的动态运动；4D Gaussian Splatting（Wu et al., CVPR 2024）通过时间维度的高斯变形场实现动态场景实时渲染；Deformable 3D Gaussians（Yang et al., CVPR 2024）则专注于非刚体形变建模，为机器人交互场景动态建模打开了新方向。

4.4 三维目标检测与场景理解

VoxelNet 与 PointPillars

VoxelNet（Zhou & Tuzel, CVPR 2018）是第一个端到端直接从激光雷达点云学习三维目标检测的框架。它将点云体素化，在每个非空体素内用 VFE（Voxel Feature Encoding）层提取局部特征，再通过三维卷积骨干网络和 RPN 完成检测，消除了人工特征工程。

PointPillars（Lang et al., CVPR 2019）将体素化替换为”柱状（Pillar）”编码——沿高度方向将点云压缩为二维伪图像，用高效 2D CNN 处理，推理速度提升至 62 FPS（GPU）。PointPillars 在速度与精度之间取得了优秀的工程平衡，成为工业界自动驾驶 LiDAR 感知的主流基线。

核心特点：

体素/柱状编码将无序点云转化为规则特征图，兼容成熟的 2D/3D CNN 框架。
PointPillars 推动了三维检测系统在嵌入式硬件上的实时部署。

PointPillars 架构：将点云沿高度方向压缩为柱状（Pillar）伪图像，经 PointNet 提取柱特征后散射回 2D BEV 特征图，再通过 2D CNN 骨干网络和 SSD 检测头输出三维边界框。

BEVFormer

BEVFormer（Li et al., ECCV 2022）是纯视觉（无 LiDAR）三维感知的里程碑工作。其核心思路是通过可变形注意力（Deformable Attention）将多相机图像特征查询到统一的鸟瞰图（Bird’s Eye View, BEV）空间，并引入时序 BEV 特征融合捕捉运动信息。

核心设计：

BEV 平面上预设 Query，通过空间交叉注意力从多视角图像中采样特征（避免稠密特征变换的计算开销）。
时间自注意力将历史 BEV 特征与当前帧对齐，隐式编码速度和运动信息。
在 nuScenes 数据集上显著超越前代纯视觉方法，触发了”纯视觉自动驾驶感知”研究热潮。

核心特点：

无需昂贵 LiDAR，仅用摄像头实现接近 LiDAR 水平的 3D 感知。
BEV 统一表示支持检测、跟踪、地图分割等多任务联合训练。

BEVFormer 架构：在 BEV 平面预设网格 Query，通过空间交叉注意力从多相机图像中采样特征投影到 BEV 空间，再以时间自注意力融合历史 BEV 帧隐式编码运动信息，最终送入检测/分割头。

占用预测与三维场景图

语义占用预测（Semantic Occupancy Prediction）近年在自动驾驶中受到广泛关注。与 3D 目标检测输出有限数量的边界框不同，占用预测为场景中每个体素分配语义标签，能处理任意形状物体和长尾目标。TPVFormer（Huang et al., CVPR 2023）将 BEV 扩展为三平面（TPV）表示，在计算效率与感知完整性之间取得平衡；OccFormer、SurroundOcc 等方法进一步提升了重建质量。

三维场景图（3D Scene Graph）将场景表示为图结构，节点表示物体实例，边表示空间关系（上方/下方、左侧/右侧、支撑等），支持语言查询与逻辑推理。3DSSG（Wald et al., CVPR 2020）是该方向的代表性数据集与基线工作。

4.5 空间感知语言模型

ScanRefer & ScanQA

ScanRefer（Chen et al., ECCV 2020）提出了三维视觉定位（3D Visual Grounding）任务：给定自然语言描述（如”靠近门口的那张棕色椅子”），在三维点云场景中定位目标物体（输出三维边界框）。ScanRefer 数据集包含 51,583 条对 ScanNet 扫描中物体的语言描述，是三维语言定位方向的核心基准。ScanRefer 之后，Nr3D/Sr3D（Achlioptas et al., 2020）和 ScanQA（Azuma et al., CVPR 2022）进一步扩展了三维语言理解的评测维度。

ScanRefer 三维视觉定位示例：给定自然语言描述（如"靠近门口的棕色椅子"），模型在三维点云场景中定位目标并输出三维边界框，需同时理解语言中的空间关系线索并在点云中消解歧义。

3D-LLM

3D-LLM（Hong et al., NeurIPS 2023）首次将大型语言模型（LLM）扩展至三维感知任务。通过将三维点云特征注入 LLM 的上下文（使用基于扩散模型的三维特征提取器，将点云映射为 token 序列），3D-LLM 支持三维场景问答、三维视觉定位、三维对话等多类任务，无需为每个任务设计专用模块。

核心特点：

将 LLM 的开放式语言理解能力迁移到三维场景感知，赋予模型三维感知能力。
支持多样化三维-语言任务，展示了统一框架的可行性。
为后续三维多模态大模型（3D MLLM）奠定基础。

3D-LLM 框架：利用基于扩散模型的三维特征提取器将点云场景映射为 token 序列，注入 LLM 的上下文窗口，支持场景问答、视觉定位与多轮对话等任务。

SpatialVLM

SpatialVLM（Chen et al., CVPR 2024）专门针对视觉语言模型（VLM）的空间推理短板而设计。现有 VLM（如 GPT-4V）在”物体 A 距离物体 B 有多远？”此类定量空间推理问题上表现较差。SpatialVLM 通过构建大规模空间推理问答数据集——利用三维传感器自动生成涵盖距离估计、方位判断、大小比较等类型的定量标注问答对——对 VLM 进行空间推理专项微调。

核心特点：

首个系统性提升 VLM 定量空间推理能力的工作。
自动化数据生成管线可扩展至大规模，不依赖人工标注。
在机器人操控等空间推理密集型下游任务中显著提升性能。

SpatialVLM 数据生成管线：利用三维传感器数据自动生成距离估计、方位判断、大小比较等定量空间推理问答对，对 VLM 进行空间推理专项微调，显著提升模型在定量空间问题上的准确率。

EmbodiedScan

EmbodiedScan（Wang et al., CVPR 2024）提出了全面的具身三维场景理解基准，覆盖三维目标检测、三维视觉定位、三维问答等多任务，强调从智能体的主动探索视角理解三维场景（第一人称视角的 RGB-D 流输入），而非离线的完整点云扫描。EmbodiedScan 包含 5000+ 场景、146 万+ 实例标注，是当前规模最大的具身三维场景理解数据集之一。

核心特点：

统一的多任务具身三维理解框架，贴近真实机器人部署的感知模式。
强调实时、增量式的三维场景理解，而非离线离线处理完整点云。
引入多粒度空间语言对齐，支持细粒度物体级和场景级描述。

EmbodiedScan 框架概览：以智能体主动探索的第一人称 RGB-D 视角流为输入，统一支持三维目标检测、三维视觉定位和场景问答等多任务评测。

空间智能大模型进展 (2024-2025)

SpatialBot（Cai et al., 2024）专门针对机器人空间理解任务，整合深度图与 RGB 图像，增强 VLM 在物体空间布局与距离估计等任务上的能力，并构建了相应的评测基准。RoboSpatial（2024）提出面向机器人操控的空间理解数据集与模型，系统研究了 VLM 空间推理能力与机器人任务成功率之间的关联。Chat-3D v2（Wang et al., 2024）通过对象感知的三维特征注入，支持多轮对话式三维场景理解，可回答”帮我找一把椅子放在桌子旁边”等具身交互指令。

近期对 Gemini 1.5 Pro 和 GPT-4V 的系统评测表明，当前通用 VLM 在定量空间推理任务（度量距离、方向估计、体积比较）上仍存在明显缺口，与人类空间认知能力相比存在系统性偏差，这成为空间智能基础模型研究的重要驱动力。

语言高斯溅射 (Language Gaussian Splatting)

这是 2025 年最新的研究前沿，将语义特征”喷涂”到 3DGS 高斯基元上，使三维场景兼具几何精度与语义可查询性。代表作包括 SplatTalk (2025)、LangSplatV2 (2025)、4D LangSplat (2025) 和 GaussianVLM (2025)。这些工作共同推动了三维场景表示与语言交互的深度融合。

5. 主流数据集与评测基准

ShapeNet

大规模三维 CAD 模型数据库，覆盖飞机、椅子等 55 个类别，是三维形状学习与生成的核心基准。

ModelNet

ModelNet40 包含 12,311 个模型，40 个类别，是点云三维分类任务的标准基准。

ScanNet

包含 1,513 个室内扫描，提供逐帧 RGB-D 图像、相机位姿、点云及语义/实例标注，是室内三维理解最重要的基准。

NYU Depth V2

经典室内 RGB-D 数据集，提供深度图及语义标注，长期作为单目深度估计方法的标准评测平台。

nuScenes

自动驾驶领域标准三维感知基准，提供 LiDAR、6 路摄像头和雷达数据，支持检测、跟踪和地图分割任务。

Matterport3D (HM3D)

提供大规模高质量室内建筑 RGB-D 扫描，是视觉语言导航、具身理解与三维场景理解的重要数据源。

6. 经典论文深度解析

7.1 NeRF (2020)

———Representing Scenes as Neural Radiance Fields for View Synthesis

📄 Paper: https://arxiv.org/abs/2003.08934

精华

NeRF 是神经渲染（Neural Rendering）领域的开创性工作，其核心贡献和启发包括：

隐式场景表示：不再使用显式的点云或网格，而是将 3D 场景编码为 MLP 网络的权重，实现极高精度的连续场景表示。
5D 辐射场函数：通过输入空间坐标 $(x, y, z)$ 和观测视角 $(\theta, \phi)$，输出颜色和体积密度，完美捕捉了与视图相关的材质光泽（如 Specular 效应）。
位置编码（Positional Encoding）：发现并解决了深度网络偏向学习低频信号的问题，通过傅里叶变换将坐标映射到高维空间，从而还原复杂的纹理细节。
层次化体采样：设计了 Coarse-to-Fine 的采样策略，通过两个 MLP 同时优化，将计算资源集中在场景中有内容的区域，显著提升了渲染效率和质量。
端到端可微体渲染：结合经典体渲染公式，使得整个管线仅需带位姿的 2D 图像即可进行端到端训练。

1. 研究背景/问题

视角合成（View Synthesis）是计算机图形学的长期难题。传统方法（如离散体素、多平面图像或网格渲染）在处理复杂几何边缘和非朗伯体（Non-Lambertian）反射材质时，往往存在存储成本高或渲染不自然的问题。NeRF 旨在通过连续的神经场表示，在仅使用稀疏 2D 图像作为输入的情况下，实现照片级真实感的 3D 场景重建和视角合成。

2. 主要方法/创新点

NeRF 概览：从稀疏 2D 图像集中优化出连续的 5D 神经辐射场，并渲染出全新视角的图像。

NeRF 的核心管线包含以下关键技术：

5D 神经场景表示：

NeRF 网络架构：空间位置 $x$ 先经过 8 层 MLP 生成体积密度 $\sigma$ 和特征向量，再结合视角方向 $d$ 经过额外层输出视角相关的 RGB 颜色。

通过限制体积密度仅取决于位置，而颜色取决于位置和方向，模型能够保证在不同视角下观察到的几何结构一致，同时捕捉到随视角变化的光影。

可微渲染管线：

NeRF 训练管线：沿光线采样 -> 查询 MLP -> 体渲染合成像素 -> 与真值计算损失并反向传播。

利用数值积分近似体渲染方程，使得像素颜色成为网络权重的可微函数。

捕捉高频细节：引入了位置编码 $\gamma(p)$，将原始坐标映射为一系列正余弦函数： $\gamma(p) = \left( \sin(2^0\pi p), \cos(2^0\pi p), \dots, \sin(2^{L-1}\pi p), \cos(2^{L-1}\pi p) \right)$ 这使得 MLP 能够拟合高频变化的颜色和几何细节，避免了渲染结果过于平滑（Oversmoothed）。

3. 核心结果/发现

定量与定性超越：在合成数据集（如 Lego, Drums）和真实场景中，NeRF 的 PSNR 和 SSIM 指标均大幅超越了当时的 SOTA（如 LLFF, SRN）。

对比实验：NeRF 在恢复复杂几何（如乐高积木内部、显微镜网格）和非朗伯反射方面表现出显著优势。

存储优势：相比于需要数 GB 存储的体素网络，一个复杂的 NeRF 模型仅需约 5MB 的网络权重即可表示整个场景。

4. 局限性

NeRF 的主要局限在于训练和推理速度极慢（训练单个场景需一两天，渲染一张图需几十秒）。此外，原始 NeRF 仅适用于静态场景，无法处理动态物体或由于光照变化导致的一致性问题。

7.2 3D Gaussian Splatting (2023)

———Real-Time Radiance Field Rendering via Differentiable Gaussian Primitives

📄 Paper: https://repo-sam.inria.fr/fungraph/3d-gaussian-splatting/

精华

3DGS 证明了显式、非连续的场景表示（无需神经网络）同样可以达到 SOTA 的 novel view synthesis 质量，打破了 NeRF 系隐式连续表示是高质量渲染必须条件的固有认知。各向异性协方差（通过旋转矩阵 R 和缩放矩阵 S 分解 $\Sigma = RSS^T R^T$）使每个 Gaussian 能够自适应地拟合场景中任意形状的几何结构，是高质量紧凑表示的关键。自适应密度控制中的 Clone（欠重建）+ Split（过重建）策略提供了一个简洁有效的几何增殖机制，可迁移应用于其他点云优化场景。Tile-based GPU Radix sort 排序 + $\alpha$-blending 的渲染流水线完全可微，实现了无限制梯度回传，是实现实时渲染同时保持训练质量的工程核心。