简介:本文讲清设备端空间模型如何把普通照片转为可调整视角的3D场景,说明端侧与云端的分工,并给出单目深度估计的适用边界、评测清单、成本计算公式和开发步骤。读完可以判断哪些功能适合放在本地,并规划一套可落地的选型方案。
普通照片是固定视角的二维图像,只保留按下快门那一刻的画面。设备端空间模型的目标是让照片具备一定的空间结构,使用户在拍摄后可以小幅调整视角、缩放画面,并看到更接近真实空间关系的画面。
以照片应用中的“空间构图”类功能为例(下文案例均为假设性说明,不代表任何厂商已发布的产品规格)。设备端模型在本地估计画面中物体的远近、层次与可扩展区域。若需要高质量重建,系统可以把部分计算交给云端模型。
这类能力主要有三点价值:
单张照片缺少完整的三维信息,模型给出的结构属于估计结果,不能当作测量数据使用。
设备端模型负责低延迟的交互,云端模型负责计算量大的重建。两者的常见分工方式如下。
云端调用需要用户授权,上传的内容需要经过脱敏或加密处理。
| 模块 | 设备端模型 | 云端模型 |
|---|---|---|
| 主要目标 | 实时预览、快速响应 | 高质量重建、复杂推理 |
| 数据位置 | 本地设备 | 云端服务 |
| 延迟要求 | 严格 | 可接受秒级 |
| 隐私要求 | 原图不出设备 | 需授权、脱敏、加密 |
| 典型场景 | 视角拖动、预览 | 精细建模、导出高清结果 |
单目深度估计从一张图推断每个像素的相对远近。它有三个明确的边界。
第一是尺度模糊。模型通常只能判断前后关系,无法确定绝对距离。模型可以判断照片里的椅子比树近,但无法仅凭这张照片得出椅子离镜头几米。
第二是弱纹理区域不稳定。天空、白墙、玻璃等区域的深度往往波动较大。
第三是透明和反光物体会导致深度错误。
因此,产品应为深度结果附加置信度。低置信区域不应做强烈的视角变换。
模型需要判断地面与墙面的关系、前景与背景的遮挡顺序,以及相机视角与画面中心的关系。这一步决定视角移动时画面是否自然。动态人物和飘动的物体会破坏几何一致性。可以用语义分割生成动态物体掩码,并在掩码区域降低视角变换的强度。
用户改变视角后,原照片中被遮挡的区域会露出来,模型需要生成这部分画面。视角变