SpatialScout是面向多模态视觉语言智能体的主动物体级三维建图开源评测基准,数据集包含80组不同室内虚拟场景,覆盖3140个目标物体。测试流程允许智能体自主控制相机完成场景探索,接收RGB图像、相机内外参与位姿数据,输出统一坐标系下物体中心位置。整套基准引入物体重叠得分指标,同时考量物体定位精度与场景物体覆盖程度,公开主流多模态模型的对照测试结果,代码、场景数据集全部开源,用于检验视觉大模型自主感知、视角规划、三维空间构建相关能力。

SpatialScout特点
任务属于主动感知范式,智能体自主决定相机移动、拍摄视角,不提供预采集完整图像序列。
数据集包含多样化室内家居场景,物体分布、摆放姿态具备差异,规避样本同质化。
设计物体级重叠得分,同时惩罚目标漏检与坐标偏移问题,多维度衡量建图质量。
交互预算存在上限,智能体需要在有限拍摄次数内完成场景探查。
完整记录每一步相机动作、观测画面、物体坐标预测,可复现全部探索轨迹。
支持接入各类视觉语言模型,统一输入输出格式降低对比实验接入成本。
FashionMind项目地址
- GitHub仓库:https://github.com/cuppibla/fashionmind
SpatialScout优势
区别于静态图片空间问答任务,测试真实环境下智能体主动观察推理能力。
评价指标兼顾定位误差与物体召回,单一分数无法靠部分正确样本刷取。
场景环境完全可控,相机参数、物体真实坐标作为真值全部对外开放。
轨迹完整留存,便于定位视角选择失误、跨视图匹配出错、几何估算偏差。
开源资源齐全,仿真环境脚本、评测计算脚本、场景素材同步放出。
SpatialScout功能
模拟室内三维仿真环境,提供相机控制接口,输出RGB画面与相机位姿。
接收待测智能体输出的相机动作指令,执行场景内视角切换。
采集智能体预测的物体中心三维坐标,对照真值计算IoU与物体重叠得分。
统计目标召回率、定位误差,输出模型完整评测报表。
保存完整探索轨迹,导出每一步动作、观测图像、预测结果。
支持自定义接入新模型,开展不同策略视角规划方案对照。
SpatialScout应用场景
多模态智能体科研,主动视觉感知、三维空间表征方向算法验证。
机器人智能体研发,仿真阶段测试大模型的视角选择与空间推断逻辑。
视觉大模型迭代,暴露模型跨视图关联、几何估算环节存在的短板。
学术消融实验,对比不同提示策略、工具调用策略对3D建图结果带来的改变。
SpatialScout同类产品对比
表格
| 项目 | SpatialScout | SenseNova-SI-1.3 |
|---|---|---|
| 开发方 | 学术团队 | 商汤科技 |
| 产品类型 | 主动式 3D 建图智能体评测基准 | 空间推理多模态 VL 模型 |
| 核心亮点 | 面向主动探索式建图,智能体自主选择拍摄视角、跨视图关联、输出物体级三维坐标;配套 80 个室内场景、3140 个目标物体的标准化数据集,开源可复现,专门衡量主动感知闭环能力 | 擅长静态多图空间推理、视角变换、几何方位判断;EASI 空间榜单表现突出,支持空间问答,推理速度稳定,开源权重可直接部署 |
| 适用场景 | 具身智能、机器人自主探索、主动感知算法评测、3D 空间 Agent 研发 | 空间问答、多视角理解、AR/VR 空间语义理解、静态场景几何推理 |
© 版权声明
文章版权归作者所有,未经允许请勿转载。
相关文章
暂无评论...



