ZDTaichu5.0‑9B – 紫东太初空间具身多模态模型

ZDTaichu5.0‑9B 是紫东太初推出的 9B 参数开源多模态基座模型,依托 Qwen3.5‑9B 语言主干与 C‑RADIOv4‑H 视觉编码器构建,支持文本、单张或多张图片、长视频输入,兼容任意分辨率视觉素材。模型把通用视觉理解与三维空间、具身智能、智能体能力融为一体,内置熵门控自适应递归推理机制,128K 上下文窗口承载长视频与长文档内容。整套权重、推理代码与数据处理管线全部对外开源,在多项空间理解基准取得同参数组别靠前成绩,面向具身机器人、仿真科研、多模态算法研发场景提供底座支撑。

ZDTaichu5.0‑9B - 紫东太初空间具身多模态模型

ZDTaichu5.0‑9B特点

兼顾通用多模态能力与空间具身能力,不会为强化空间推演牺牲图文、OCR、视觉数学原有表现。

熵门控自适应递归推理机制,依据任务难度动态分配计算资源,复杂空间任务触发隐空间迭代修正,简单任务维持常规推理开销。

原生接纳任意分辨率图像、多视图图像、长时序视频输入,处理跨视角变换、物体 mental rotation、三维场景关系判断类任务。

全套工程资产开放,除模型权重之外同步放出训练数据生产管线,使用者可以导入自有仿真、工业数据继续迭代模型。

智能体工具调用表现突出,支持多轮工具调用、文献调研、科学计算、代码生成与结果校验。

适配国产算力环境,可在单多卡 GPU 集群完成本地推理与微调,支持 Hugging Face、ModelScope、GitHub 多渠道获取资源。

ZDTaichu5.0‑9B技术原理

ZDTaichu5.0‑9B 以 Qwen3.5‑9B 解码器作为语言主干,搭配 C‑RADIOv4‑H 视觉编码器,图像、视频、文本信号映射进入统一表征空间。

核心的熵门控自适应递归推理模块,完成标准前向计算之后,统计当前 token 输出熵值衡量不确定性。高熵代表判断不确定性高,触发隐层状态循环迭代,通过阻尼锚定更新修正特征;低熵样本直接输出结果。依靠 KL 散度与隐状态残差作为收敛终止条件,迭代结束后选择最优轨迹输出,避免无限制循环计算。

整套训练分为多阶段混合精度流程,从 8K 图文预训练,逐步扩展到 16K 继续预训练、32K 监督微调、128K 上下文拓展、高质量样本退火,最后使用 GRPO 可验证奖励强化学习,使用正确性、空间定位精度、输出格式作为奖励信号。训练总 token 规模达到 1.28T,素材覆盖双语图文、OCR、短视频、空间仿真样本、具身任务案例。

外部工具调用链路和主模型解耦,模型输出工具指令,外部环境执行运算后回传结果,完成多步骤智能体任务。

ZDTaichu5.0‑9B功能

通用多模态理解

解析文档、图表、示意图,执行 OCR 识别,处理视觉数学题目,完成图文问答。

三维空间推理

处理多视图素材,完成视角变换、物体心理旋转、物体相对方位、截面形态判断,解析室内外三维场景关系。

视频时序理解

读取长视频片段,跨帧跟踪物体,结合画面时序信息回答空间与事件相关问题。

具身任务规划

接收场景图像与文字指令,输出机器人拾取、搬运、收纳等分步操作序列,适配仿真环境任务验证。

模型二次迭代

复用官方开放的数据管线,导入自有行业数据集,开展继续预训练、监督微调、强化学习,产出领域定制版本。

多模态基准评测

使用公开空间、具身、Agent 评测集,批量跑测模型,输出空间感知、工具调用相关指标。

ZDTaichu5.0‑9B应用场景

具身智能研发团队

作为人形、机械臂仿真实验的视觉语言基座,做空间感知、任务规划原型开发,输出机器人动作策略。

AI 科研实验室

开展空间推理、自适应递归推理、视频理解、多模态 Agent 方向课题,用作基线模型做对照实验。

仿真与机器人平台

在仿真环境中完成试管操作、物体分拣、物品收纳任务验证,迭代物理世界交互算法。

科学计算研究

辅助科研人员完成视觉科学问题分析,文献整理,数值模拟,生成报告与可视化脚本。

高校教学实验

用于多模态大模型、具身智能方向课程,复现空间推理实验,练习模型微调与评测流程。

工业视觉原型开发

面向工业场景做工件方位判断、多视角检测,搭建工业多模态分析原型系统。

ZDTaichu5.0‑9B使用教程

访问项目主页或者 GitHub 仓库,克隆项目代码仓库,核对 Python、深度学习框架、依赖库版本,完成运行环境安装。

前往 Hugging Face 或者 ModelScope 下载 ZDTaichu5.0‑9B 模型权重,确认本地 GPU 显存资源,9B 模型推理建议使用多卡环境。

加载官方提供的处理处理器,传入文本、图片或者视频素材,构造输入 prompt,执行基础推理测试,观察图文问答、空间判断输出。

开启自适应递归推理开关,针对空间、三维、具身类任务,调整熵门控阈值,控制内部循环迭代上限。

开展 Agent 任务时,对接外部工具沙盒,配置检索、Python 代码执行环境,让模型完成多步工具调用任务。

开展微调工作,复用项目公开的数据处理管线,把自有仿真或者行业素材处理成训练格式,启动监督微调或者 GRPO 强化学习脚本。

执行基准评测,调用项目配套评测脚本,在 SparBench、ViewSpatial 等基准数据集批量测试,导出评测指标。

生产部署阶段,封装推理接口,对外提供 API 服务,接入上层应用,同时记录日志,对输出内容做人工复核。

ZDTaichu5.0‑9B同类产品对比

表格

项目ZDTaichu5.0‑9BQwen3.5‑9B
研发主体紫东太初(中科院自动化所 + 武汉人工智能研究院)阿里通义实验室
模型定位9B 通用多模态模型,主打空间具身智能,面向物理世界机器人、工业场景9B 开源多模态模型,侧重通用图文理解
核心特色九大空间基准 8 项同档第一,自适应循环推理,跨视角三维空间推理能力突出,开源权重 + 数据管线方案通用图文、OCR、代码能力均衡,生态成熟,部署工具链完善
适用场景具身机器人、智能制造、科研物理仿真任务通用图文问答、文档解析、轻量多模态 Agent
© 版权声明
为这篇文章评分
10.0/ 10
2 人评价
点击⭐️进行评分

相关文章

暂无评论

none
暂无评论...