EdgeBench – 字节跳动Seed团队推出的一个AI基准测试框架

EdgeBench核心特点

1. 超长时域的真实任务
   • 每个任务都设计为持续运行 12 小时以上，部分任务甚至超过 72 小时。这种长时域设计确保了智能体有足够的时间与环境交互，积累经验并实现能力的复合增长，而非简单的单次尝试。
2. 高度仿真的任务环境
   • 所有任务的执行环境、反馈信号和评判标准都高度模拟真实世界的实践。一个高分不仅仅代表任务完成，更反映了智能体在复杂环境中真正学到了什么。
3. 六大领域，从零构建
   • 包含 134 个覆盖六大领域的任务，大部分是从零开始专门构建的，以确保评测的新颖性和挑战性。这些领域包括：
     • 科学与机器学习 (29%)：如引力波探测、地下水污染建模。
     • 系统与软件工程 (27%)：如 RISC-V CPU 设计、正则引擎修复。
     • 组合优化 (14%)：如车辆路径规划、SAT/SMT 求解。
     • 专业知识工作 (14%)：如跨境合规审计、品牌年度规划。
     • 形式化数学与定理证明 (10%)：如费马大定理（正则情形）、球面外翻。
     • 互动游戏与模拟器 (6%)：如 NetHack、Dungeon Crawl。
4. 专家级任务质量
   • 每个任务都经过领域专家的审查和迭代。在有记录的任务中，专家投入的平均工时高达 57.2 小时，最高可达 320 小时，确保了任务的专业性和深度。

EdgeBench技术原理

1. 环境学习循环
   智能体在任务中遵循一个持续的“尝试-观察-吸收-改进”循环：
   • 尝试 (Attempt)：在实时环境中测试一个候选方案。
   • 观察 (Observe)：从环境中接收新的信息和反馈（如实验错误、测试失败、分数变化）。
   • 吸收 (Absorb)：分析环境反馈和交互历史。
   • 改进 (Improve)：将经验转化为更好的计划、策略或产出物。
2. 对数S形学习定律 (The Log-Sigmoid Law)
   • 现象发现：通过对海量（38,000小时）学习曲线的分析，EdgeBench 发现，尽管单个任务的学习过程充满波动，但当对大量任务的平均表现进行观察时，智能体的学习曲线会收敛成一个非常精确的对数S形函数：
     S(t) = S_max / (1 + (t_mid / t)^β)
     其中 S(t) 是在时间 t 的得分，S_max 是最高分，t_mid 是达到一半最高分所需的时间，β 是学习速度。该定律的拟合优度 R² 高达 0.998。
   • 理论解释：该定律的产生源于一个“前沿扩展”模型。
     • 知识图谱：将一个任务视为由许多小的“知识单元”组成的图。
     • 前沿解锁：学习过程就像解锁这些单元。解锁一个新单元会使其相邻的单元更容易被解锁。因此，学习是以“前沿”的形式，从已知区域向未知区域扩展。
     • 速度公式：学习的速度与“已解锁单元的比例(x)”和“未解锁单元的比例(1-x)”的乘积成正比，即 dx/d(ln t) = βx(1-x)。这个微分方程的解正是对数S形函数。
     • 对数时间：由于任务的难度呈指数级增长，因此学习的“有效时间”是对数时间 ln(t)，而非线性时间 t。
3. 学习速度定律
   通过对 2025 年 9 月至 2026 年 5 月期间发布的模型进行评估，EdgeBench 发现，AI 从环境中学习的速度（以2小时内的性能提升为衡量标准）大约 每三个月翻一番。

EdgeBench主要功能

1. 衡量真实环境学习能力
   • 作为首个专门为此设计的基准，它能够量化评估 AI 智能体在接近真实世界的复杂、长时域任务中的学习和适应能力。
2. 揭示学习动态与瓶颈
   • 通过记录智能体在 12 小时内的每一次尝试和得分变化，EdgeBench 可以详细展示智能体的学习路径。例如，在一个引力波信号重建任务中，可以清晰地看到智能体如何从“解析原始数据”到“发现信号特征”，再到“建立物理模型”的逐步演进过程，以及在哪些环节遇到了瓶颈。
3. 提供模型能力排行榜
   • 基于 134 个任务的综合表现，EdgeBench 提供了一个权威的模型能力排行榜，直观展示不同模型（如 Claude Opus 4.8, GPT-5.5 等）在长时域环境学习任务上的性能差异。
4. 推动 AI 研究范式转变
   • EdgeBench 强调了“环境学习”的重要性。许多现实世界所需的知识（如私有数据、内部工具、最新发现）并未包含在模型的训练数据中。因此，智能体能否通过与环境交互来学习，是 AI 能否在现实世界中规模化应用的关键。EdgeBench 为研究这一核心能力提供了标准化的工具和理论框架。

EdgeBench项目地址

• 项目官网：https://edge-bench.org/
• GitHub仓库：https://github.com/ByteDance-Seed/EdgeBench
• HuggingFace模型库：https://huggingface.co/datasets/ByteDance-Seed/EdgeBench
• 技术论文：https://edge-bench.org/paper.pdf