PawBench – 通义实验室推出的开源通用智能体评测基准

PawBench是通义实验室于2026年6月推出的开源通用智能体评测基准，核心突破在于首次将底座模型、运行框架(Harness)与任务场景纳入同一交叉评测体系，而非仅对模型能力排名。

通过系统性拆解智能体失败原因，直接解决行业长期存在的”高分模型落地表现差”痛点，为开发者提供精准优化方向。

PawBench核心定义

1. 评测目标与定位

• 面向真实场景的智能体能力验证：聚焦个人助理与通用智能体任务（如日程管理、跨平台信息查询、多工具串联操作），评估模型与框架协同解决复杂问题的能力，而非单纯测试模型知识储备。
• 破解”黑盒归因”问题：当智能体任务失败时，明确区分责任归属（底座模型思考能力不足 vs. Harness工具调度/环境管理缺陷），避免盲目升级模型。

2. 与传统评测的本质差异

• 拒绝单一维度排名：传统评测（如SWE-bench）仅固定Harness测试模型，而PawBench 强制将Harness作为变量纳入评测矩阵，揭示框架工程对最终效果的影响可能超过模型版本升级的收益。
• 任务设计贴近真实工作流：150道任务均来自办公协同、软件工程等实际用户场景，包含工具调用、GUI操作、安全对齐等长尾需求，避免实验室环境过拟合。

PawBench关键特点

1. 三维交叉评测架构

• 模型×Harness×任务的全组合测试：v1.0版本覆盖 9个主流模型 × 3种Harness框架 × 150道任务，生成4,050个测试单元，量化不同组合的性能差异。
• 多维度任务标注体系：每道任务按应用场景（13类）、原子能力（7项）、复杂度（L1-L3）、输入模态（文本/多模态）、运行环境（离线/联网）打标，支持精细化切片分析。

2. Harness深度诊断能力

• 框架性能差异显性化：测试显示，同一模型（如qwen3.6-35b-a3b）仅更换Harness，分数差距可达11.5分，证明框架设计对结果的影响可能超过模型规模升级。
• 问题归因到具体机制：通过执行轨迹回放，可定位Harness缺陷（如缺少文件落盘校验导致”虚假完工”、工具表过大挤占上下文等）。

3. 动态评测逻辑实现

• 自然语言驱动的评测Agent：评测规则通过提示词（Prompt）而非硬编码脚本定义，支持快速迭代评测逻辑，避免传统代码评测的僵化问题。
• 双模评分机制：
  • 自动规则检查：验证文件生成、diff输出等硬性指标。
  • LLM-as-judge语义评估：对结果质量进行语义级打分，兼顾准确性与实用性。

PawBench核心优势

1. 精准定位性能瓶颈

• 区分模型与框架短板：开发者可明确判断问题根源——若模型在多个Harness上均表现差，则需升级模型；若仅特定Harness下失效，则应优化框架。
• 量化优化收益：例如发现某Harness因未校验工作区产物导致任务失败率上升18%，针对性修复后分数提升6.2分。

2. 推动智能体工程标准化

• Harness设计最佳实践沉淀：评测揭示工具表规模需与模型能力匹配（小模型适用15-30个工具，过大Schema会显著增加决策负担）。
• 零配置可用性验证：测试Web搜索等任务时，默认支持免密API的Harness（如OpenClaw）得分显著高于需手动配置的框架，推动行业重视开箱体验。

3. 真实场景泛化能力

• 拒绝”刷榜式过拟合”：任务集从6个高质量评测基准抽取（如Claw-Eval、QwenClawBench），覆盖工具调用、长程Skill、安全对齐等落地关键能力。
• 多模态与复杂执行链路支持：26道多模态任务测试GUI操作能力，23道PinchBench任务验证多工具串联的异常恢复机制。

PawBench技术原理

1. 评测矩阵构建

• 模型层：测试Qwen、GLM、Claude等9个主流底座模型，覆盖不同规模与推理能力。
• Harness层：对比QwenPaw、OpenClaw、Hermes等实现方案，重点考察工具管理、工作区校验、上下文优化等机制。
• 任务层：150道任务按原子能力解耦（如”规划→工具调用→结果校验”链路），避免综合评分掩盖子环节缺陷。

2. 执行与评分流程

• 沙箱化运行环境：所有任务在Docker隔离容器中执行，保留完整执行轨迹、环境快照与评分产物，支持问题复现。
• 混合评分加权：自动规则检查（占60%）与LLM语义评估（占40%）加权计算最终分数（0-1区间），平衡客观性与实用性。
• 动态切片分析：支持按任务类型、模态、复杂度等维度筛选数据，快速定位特定场景的短板。

3. 关键发现机制

• Harness机制差异归因：
  • 产物校验缺失：Hermes因未强制检查文件是否落盘，导致模型过早宣布任务完成。
  • 工具表膨胀问题：Hermes默认加载65个工具（QwenPaw仅15个），小模型首轮决策准确率下降22%。
• Web搜索依赖零配置：仅OpenClaw支持免密DuckDuckGo搜索，在未配置API Key时仍能完成基础任务。

PawBench应用场景

1. 智能体框架开发者

• Harness性能调优：通过4,050个测试单元的切片数据，精准定位工具调度、错误恢复等模块的缺陷。
• 框架选型决策：对比不同Harness在目标场景（如办公协同vs.软件工程）的得分差异，选择最优工程方案。

2. 企业级智能体落地团队

• 模型+框架组合验证：测试自身业务场景任务在PawBench子集上的表现，避免盲目采用高榜单分数但适配性差的方案。
• 安全对齐能力评估：利用WildClawBench等任务集，验证智能体在协商、多步推理中的风险控制能力。

3. 研究与开源社区

• 评测方法论参考：其”自然语言驱动评测”设计已被HealthBench等医疗领域基准借鉴，推动行业从静态榜单转向动态归因。
• 社区共建生态：开源任务集与评测框架，支持开发者扩展新场景任务。

PawBench项目地址

项目官网：https://agentscope-ai.github.io/PawBench/

GitHub仓库：https://github.com/agentscope-ai/PawBench