MineExplorer – 多模态大语言模型开放世界探索能力评测基准

MineExplorer是由上海交通大学与美团 LongCat 团队联合开发的首个知识受控的多模态大语言模型（MLLM）开放世界探索能力评测基准。它通过构建“隐式多跳任务”，剥离游戏专属知识，专注于测试模型在动态环境中自主推断隐藏前置条件、完成多步骤任务的通用探索能力。该基准揭示了当前顶级模型在长链推理与动态规划上的显著断层，为评估和推动下一代智能体发展提供了关键工具。

MineExplorer核心特点

知识解耦设计
- 剥离游戏专属知识：刻意过滤掉对 Minecraft 合成配方、红石电路等专属机制的依赖，仅保留依赖通用世界常识（如“过河需造桥”）的任务，确保评测结果反映的是模型的真实探索能力，而非对特定游戏的记忆。
- 聚焦通用逻辑：与深度整合游戏 Wiki 知识的评测不同，MineExplorer 旨在评估模型在未知环境中的泛化能力。
隐式多跳任务架构
- 隐藏前置条件：任务指令仅给出最终目标（如“打败蜘蛛”），但完成它需要先自主发现并完成一系列未明示的子任务（如“发现河流→造木筏→制作武器”），强制模型进行因果推断。
- 难度分级明确：任务根据所需推断的隐藏步骤数量，被划分为1到4跳，跳数越高，对模型的长程规划和逻辑链维持能力要求越严苛。
动态环境交互验证
- 实时交互评测：模型需要在持续变化的3D沙盒环境中进行实时交互和决策，而非基于静态图片或文本进行推理。
- 拒绝“开卷考试”：任务不提供完整的步骤指南，模型必须通过观察环境状态，自主补全逻辑链条，模拟了真实世界的问题解决过程。

MineExplorer技术原理

任务建模与难度量化
- 隐式DAG依赖图：将复合任务定义为一个依赖图，但关键设计在于指令中不显式列出所有节点，模型必须从初始环境状态中推断出隐藏的前置任务。
- 动态难度评分：任务的难度分由其依赖图的复杂度决定，涉及的能力维度越广、隐藏前置越多、依赖链越深，难度分就越高。
多智能体数据合成
- 五角色协作造题：采用一个由任务选择器、场景设计师、里程碑设计师、Minecraft专家和验证器组成的五角色智能体框架协同生成任务，确保任务的逻辑性、可验证性和质量。
- 质量显著提升：相比单智能体生成，该框架将任务有效率提升约30%，人工验证质量分提高0.5。
能力拆解与自动评测
- ReAct三维诊断框架：将探索能力系统性地拆解为感知（空间定位、物体识别）、推理（因果推断、计划生成）和行动（工具调用、错误恢复）三大维度共14项细粒度指标。
- 规则化里程碑检查器：通过程序化规则（如检测物品库存变化、坐标区域）自动判定子任务的完成度，实现无需人工干预的自动化评测，并输出任务成功率（TSR）与子任务完成率（MSR）。

MineExplorer核心功能

能力断层诊断
- 精准定位短板：能够量化分析模型在导航、推理、执行等14个细分维度上的表现，精准定位其能力缺陷。例如，当前模型在“动态环境中的计划修正”上失败率超过60%。
- 揭示模型局限：实验证明，单纯增加模型参数或开启“思考模式”无法显著改善其在多跳任务上的表现，指明了算法优化的方向。
任务生成与评测自动化
- 自定义跳数扩展：支持生成1到12跳的复杂任务链，以适应不同研究阶段的需求。
- 端到端评测流水线：从任务加载、环境交互到结果验证全程自动化，单个任务的评测耗时仅需3-5分钟，效率极高。
细粒度能力报告
- 多维性能热力图：能够输出按难度分层（1-4跳）与能力维度（感知/推理/行动）划分的多维性能热力图，直观展示模型的能力分布和强弱项。

MineExplorer项目地址

GitHub仓库：https://github.com/meituan-longcat/MineExplorer

MineExplorer应用场景

AI模型研发与优化
- 客观评估探索能力：为多模态大语言模型（MLLM）的开发者提供一个标准化的测试工具，避免模型因“背诵”游戏知识而获得虚假的高性能。
- 指导算法改进：通过14项细分指标的诊断报告，开发者可以有针对性地优化模型的特定能力，如改进记忆机制以解决长轨迹任务崩溃问题。
智能体落地验证
- 机器人流程自动化（RPA）：该评测框架的理念可用于验证AI智能体在真实办公环境中处理多步骤任务的能力，例如“从邮件提取数据→生成报表→发送审批”的完整流程。
- 交互式数据分析：测试模型是否能自主完成“加载数据源→清洗→可视化→导出结论”的完整分析链，评估其端到端的问题解决能力。
学术研究与技术演进
- 探索能力边界：系统性地研究模型在动态开放世界中的适应性极限，例如分析任务成功率随任务复杂度（跳数）增加而下降的规律。
- 跨领域方法迁移：该评测框架的设计思想可被适配到其他开放世界环境，如Web网页操作、物理机器人控制等，推动通用探索能力的研究。