简介：本文从数据、模型与交互三个维度，梳理空间智能兴起的背景、技术路线与工程难点，并结合三维场景生成、多模态输入、持久化环境构建等实践方向，帮助开发者理解从二维视觉识别走向三维空间理解的关键跃迁，以及构建空间智能系统时需要考虑的数据、表示、交互与评估问题。
过去十余年，计算机视觉的主要进展集中在二维图像层面。以大规模标注数据集为基础，深度卷积网络在图像分类、目标检测、语义分割等任务上取得了显著提升。这类系统能够回答“图中有什么”“目标在哪里”“像素属于哪一类”，但通常并不真正理解物体之间的三维关系、遮挡结构、观察视角变化以及场景在空间中的连续组织方式。
一个典型的例子是：模型可以识别一张照片中的椅子、桌子和窗户，却难以判断从另一个角度观察时这些物体会如何排列，或者在一个三维环境中能否从椅子旁边走到窗户前。换句话说，传统视觉模型擅长“描述像素”，但不擅长“构建空间”。
空间智能的核心目标，是让AI具备对三维场景的感知、表示、推理与交互能力。它关注的不是单张图像的标签，而是：
这一方向之所以在当前阶段受到关注，原因来自三方面：一是二维视觉任务逐渐成熟，研究者开始寻找更具挑战性的问题；二是大语言模型与多模态模型暴露出对物理空间理解的不足；三是生成式AI在图像和视频生成中出现的“空间不一致”“视角漂移”等问题，促使业界重新审视三维表示的重要性。
构建空间智能系统，不能只依赖更多二维标注数据，而需要从数据形态、表示方式和学习目标上做出根本调整。
在传统视觉任务中，数据通常以单张图像加标签的形式存在。空间智能则需要更丰富的场景信息，常见的数据来源包括：
工程实践中，单一数据形式往往不足以覆盖全部需求。例如点云适合表达几何形状，但缺少颜色与纹理；多视角图像纹理丰富，却需要额外步骤才能重建几何。因此，空间智能系统的数据层通常需要多源对齐与融合。
如何表示三维世界，是空间智能的基础问题。目前主要有三类路线：
显式表示包括体素、点云、网格等方式。其优点是几何结构直观、便于编辑与碰撞检测；缺点是内存占用随分辨率快速增加，连续表面表达不够平滑。
隐式表示通过神经网络将坐标映射为占用概率、符号距离或辐射属性。典型思路是使用连续函数描述场景，不依赖离散网格。这种方式可以获得更精细的几何细节，但训练和推理成本相对较高，也难以直接编辑。
神经辐射场与可微渲染将三维场景表示与二维图像生成结合起来，通过可微渲染比较合成视图与真实视图，从而优化场景表示。这类方法在新视角合成和三维重建中表现突出，但通常需要较长的优化时间，且生成结果不易直接导入传统三维编辑流程。
混合表示尝试结合显式与隐式的优点，例如使用稀疏网格加速计算、用特征场提升表达能力、用显式几何提供结构约束。工程选型时，需要权衡精度、速度、可编辑性与计算资源。
空间智能模型不能仅用准确率衡量。除了传统的分类或分割损失，还需要引入更符合三维理解的优化目标，例如：
这些目标可以以辅助损失、正则项或自监督信号的形式加入训练流程。例如，利用同一场景的两张不同视角图像，模型可以预测相对相机位姿和深度图，再通过视图合成验证预测是否自洽。这种自监督方式减少了对精细三维标注的依赖，也更贴近真实应用中的数据条件。
当前空间智能的一个重要应用方向，是让模型根据文本描述或参考图像生成可交互的三维场景。与生成单张图片不同，三维场景生成需要同时满足几何合理性、外观质量与空间持久性。
当用户输入“一个靠窗的书房，窗外是下雨的街道”时，模型需要完成多个层次的映射：
这要求模型在训练时不仅学习对象类别，还要学习对象在空间中的典型配置。例如“台灯通常放在桌面上”“窗户通常位于墙面而不是天花板”。这类常识性的空间先验，是防止生成结果“语义正确但空间荒谬”的关键。
以单张照片生成可浏览的三维场景，本质上是一个病态问题：一张二维图像缺失了大量三维信息。为了缓解这一困难，系统通常结合：
单一照片恢复的三维结构往往在远离中心视角的区域出现模糊或形变。因此，生成系统通常允许用户在初始结果上继续补充提示或调整视角，逐步细化场景。
与一次性生成的图片不同，空间智能系统生成的三维环境需要具备持久性：用户离开某个区域再返回时，场景不应发生不一致变化。持续场景要求底层表示具备稳定的坐标基准和对象标识。
对象化结构是提高可编辑性的重要手段。将场景分解为地板、墙壁、家具、光源等可识别对象，可以让用户选择、移动、替换或删除局部元素，而不必重新生成整个场景。为了实现对象化，模型需要在生成过程中同时输出语义分割、实例边界与三维包围信息。
可导出性则要求生成结果能被常见三维工作流读取。工程上需要将模型内部表示转换为标准三维数据格式，并保持几何、纹理、材质、光照等信息的完整。导出后，用户可以在建模、仿真、游戏开发或可视化工具中继续处理，显著扩展生成结果的应用范围。
从概念验证到可部署系统，开发空间智能应用需要关注若干关键工程问题。
三维表示天然比二维图像消耗更多计算资源。神经辐射场类方法虽然效果出色，但早期实现在单场景优化上需要较长时间，难以满足实时交互。工程中常见的优化策略包括：
实际系统通常需要在生成质量与响应速度之间做具体权衡。例如，先以较低分辨率快速生成预览，再根据用户停留区域逐步细化高精度内容。
空间智能系统常同时接收文本、图像、视频、深度图等多种输入。不同模态包含互补信息：文本提供高层语义意图，图像提供外观与局部细节，视频提供运动视差与时序约束，深度图提供显式几何。融合这些信号需要统一的表示空间与对齐策略。
一种可行思路是将各模态先编码为统一的场景特征，再通过交叉注意力机制在生成过程中逐步注入条件。另一类方法则以三维表示为核心，将不同模态作为可微损失项加入优化目标。融合策略的选择取决于输入模态的完整性与目标场景的复杂度。
空间智能系统很少能一次生成完全符合用户预期的三维场景。交互式生成将用户反馈纳入闭环：用户可以通过文本补充、框选区域、拖动视角或局部重绘来修正结果。系统需要将操作映射到场景表示的局部变化，并保持其余区域稳定。
这种局部编辑能力对底层表示提出额外要求：表示必须支持空间定位与增量更新。例如，场景应该允许用户“把桌子向左移动20厘米”或者“把墙壁颜色改为浅灰色”，而不引起无关元素的随机变化。对象化结构与分离式表示在这里展现出明显优势。
评估空间智能系统不能只看生成图像的清晰度。常见指标可以包括：
由于空间智能强调交互与体验，人工评估仍不可或缺。工程中可以建立包含数值指标与人工判分的双层评估流程，避免只追求单项指标而忽略整体可用性。
空间智能并不局限于学术研究，它正在多个方向形成可落地的应用模式。
内容创作与虚拟制作。 创作者可以用自然语言描述一个场景，快速生成可编辑三维空间，再在建模工具中细化。这大幅缩短了从概念到原型的时间，也降低了三维内容创作的门槛。
仿真与训练环境构建。 机器人、自动驾驶、室内导航等系统需要在多样化三维环境中训练与评测。空间智能可以依据需求批量生成具有变体的场景，并通过参数控制物体布局、光照、天气等因素，提升训练数据的多样性与可控性。
交互式设计与空间规划。 在建筑、室内设计、展览策划中，空间智能可以根据文字需求生成多个候选方案，并允许用户通过自然语言持续调整。方案之间的对比与修改记录可以沉淀为可复用的设计资产。
教育与文化遗产展示。 根据文字资料或历史图片重建三维场景，为教学与展示提供沉浸式环境。相比传统手工建模，空间智能能够更高效地处理模糊、不完整的历史信息。
对于开发者而言，建议从清晰的三维表示出发，先解决目标场景的几何与语义基础，再逐步引入生成、交互与多模态条件。过早追求端到端生成而忽视表示稳定性和编辑能力，容易在后续迭代中遇到数据结构难以调整、生成结果无法复用的问题。
空间智能并不是对既有视觉路线的替代，而是一次能力扩展。它将AI从“看见”推进到“身处其中”，使模型不仅能够识别画面中的物体，还能理解物体之间的关系、预测视角变化带来的结构演化，并与真实或虚拟三维环境持续交互。
这一转变也回应了一个更深层的问题：如果AI只能在文本和二维图像层面运作，它在真实物理世界中的行动能力将始终受限。一个能够操作物体、规划路径、进入新环境的智能系统，必须首先在三维空间中建立稳定的感知与推理。空间智能因此可以被视为通往更完整智能形态的重要基础能力。
从工程角度看，空间智能仍面临数据获取成本高、三维表示标准不统一、交互生成延迟大、评估方法不成熟等挑战。但这些问题也意味着明确的技术机会：更好的三维表示方式、更高效的几何生成方法、更稳健的多模态条件机制、更实用的编辑与导出工具，都可能成为推动下一代智能应用的关键环节。
对于开发者来说，现在进入空间智能方向，不仅可以积累从三维数据、模型训练到交互系统设计的完整经验，也有机会参与定义一套与二维时代不同的技术范式。理解空间，将成为人工智能走向真实世界的一把关键钥匙。