Wall-OSS-0.5 – 自变量机器人团队开源的具身基础模型

Wall-OSS-0.5技术原理

1. Gradient-bridge：动作监督直接反传主干模型

• 将动作离散化为token，与文本token拼接进同一条自回归序列，通过交叉熵损失训练，使主干模型在预训练阶段统一”看-说-动”的表征空间。
• 若移除该设计，真机任务成功率会下降两位数百分点，且模型规模越大退化越明显。

2. 视觉对齐的动作分词器

• 采用残差向量量化分词器，强制动作token表征与对应时刻的视觉特征对齐，并能预测下一帧视觉变化，使动作token承载”压缩动作”和”画面变化”双重语义。
• 仅替换分词器后，真机任务平均成功率大幅跃升，VQA能力同步提升。

3. 动作空间监督优化

• 将flow matching的损失从预测”速度”改为预测重建动作，自动对噪声更大的去噪步骤加权，使模型聚焦任务关键轨迹（低频结构），避免拟合无关高频抖动。
• 解决了传统方法因轨迹信息分布不均导致的优化目标偏差问题。

4. DMuon分布式优化器

• 通过Newton-Schulz迭代正交化更新矩阵，缓解多源监督导致的梯度异构问题，同时通过dedicated-ownership调度和CuteDSL kernel将计算开销从2x降至0.02x。
• 使大规模预训练在工程层面真正可落地。

Wall-OSS-0.5核心特点

• 零样本泛化能力突破

• 在17个真实机器人零样本任务中，4个任务得分超80分（满分100），包括未在预训练中出现的”绳子收紧”（柔性操作，82分）。
• 能力阶梯式涌现：预训练步数从50k增至400k时，未见任务平均得分从24.2升至53.6，证明能力向新任务有效迁移。

• 模态统一与能力闭环

• 采用共享注意力+专家分流（FFN）架构，语言、视觉、动作在统一表征空间交互，避免”灾难性遗忘”和”模态解耦”问题。
• 统一跨层级思维链：从指令理解→子任务规划→连续动作执行，在单一可微分框架内无缝切换高层决策与底层控制。

• 真实数据驱动

• 基于20余种机器人形态、超100万条真实轨迹及9000万条多模态语料预训练，覆盖语义理解、刚性/柔性物体操作等五大任务类别。
• 真机数据占比57.5%，显著提升模型对物理世界不确定性的适应能力。

Wall-OSS-0.5核心优势

• 预训练即部署，省去后训练环节

• 传统VLA模型需针对每个任务微调，而Wall-OSS-0.5的预训练模型直接部署到真实机器人即可工作，在水果分拣、套环叠放等任务中零样本得分达96分、86分。
• 绳子收紧任务82分的突破性表现，证明其具备可迁移的操作能力，而非简单记忆训练样本。

• 性能全面领先竞品

• 在操作类任务上显著优于π0.5等开源模型，例如在RoboCasa厨房模拟的插入任务中成功率达39.6%（π0.5仅4.0%）。
• 微调阶段效率更高：在LIBERO基准上仅需20k步微调即达97.5%成功率，节省约1/3算力与适配时间。

• 能力协同进化

• 动作训练未导致视觉语言能力退化，反而在”具身定位”等任务上性能提升21.8分，实现感知与操作能力的良性互补。
• 多模态理解能力未崩坏，在VQA等测试中同步提升。

Wall-OSS-0.5适用人群

• 机器人研发团队

• 快速验证新任务：无需任务微调即可测试预训练模型在真实场景的表现，大幅缩短开发周期。
• 硬件适配开发者：通过微调快速适配不同机器人本体，实现”一个大脑，多种身体”的通用部署。

• 学术研究者

• 具身智能理论探索：模型开源了训练代码、数据接口及底层优化器，为研究预训练Scaling Law提供完整实验基础。
• 跨学科协作：统一架构设计便于结合认知科学、控制理论等优化动作泛化能力。

• 产业落地实践者

• 工业/物流场景：直接部署于分拣、装配等结构化操作任务，降低柔性物体操作的调试成本。
• 养老/服务机器人：利用其长程任务规划能力，执行”整理绳索””摆放餐具”等复杂指令，避免传统模块化系统的误差累积。

Wall-OSS-0.5的项目地址

项目地址：https://x2robot.com/oss#resources

Github仓库：https://github.com/X-Square-Robot/wall-x

论文地址：https://x2robot.com/api/files/file/wall_oss_05.pdf