SenseNovaU1 – 商汤科技开源的原生理解生成统一模型

SenseNovaU1技术架构与创新

1. NEO-unify原生统一架构

• 摒弃传统拼接范式：
  传统多模态模型需通过独立模块分别处理视觉编码、文本理解与生成，信息在转译中损耗高达20%-30%；而SenseNova U1直接构建统一表征空间，将语言与视觉作为同一信号流处理，消除中间转译环节。
• 端到端像素到语言建模：
  模型从原始像素和文本直接学习，无需预训练视觉编码器，同时保留语义抽象能力与像素级细节，在MS COCO重建任务中达到31.56 PSNR与0.85 SSIM的高质量输出。

2. 原生多模态思维（MoT）机制

• 跨模态高效推理：
  通过混合Transformer结构（Mixture-of-Token） 实现语言与视觉信号的深度耦合，避免传统方案中模态冲突导致的逻辑断裂问题。
• 连续创作能力：
  业内首个支持单次调用输出连贯图文内容的模型，例如生成分步烹饪教程时，各步骤配图的风格、构图与逻辑高度一致，无需多模型串联。

SenseNovaU1模型规格与性能

1. 开源轻量版（SenseNova U1 Lite）

• SenseNova-U1-8B-MoT：
  基于80亿参数稠密骨干网络，在图像生成、视觉推理等任务中达到同量级开源模型SOTA水平，部分指标超越大型商业闭源模型。
• SenseNova-U1-A3B-MoT：
  采用混合专家（MoE）架构，激活参数约30亿，兼顾推理效率与生成质量，适合资源受限场景部署。

2. 关键能力验证

• 信息图生成：
  可生成高密度排版内容，文字清晰度与布局逻辑性显著优于传统模型，在IGenBench基准测试中综合性能领先开源同类模型。
• 空间智能与逻辑推理：
  深度理解物理世界的布局关系，为机器人提供具身智能的底层支持，能完成从环境感知到任务执行的闭环推演。

SenseNovaU1核心应用场景

1. 连续性图文创作

• 分步流程可视化：
  例如生成”五分熟牛排烹饪指南”时，模型自主规划步骤逻辑并输出对应配图，各阶段画面风格与细节高度连贯，解决传统多模型串联导致的风格断裂问题。
• 草图到成品迭代：
  从用户手绘草稿出发，逐步优化生成高完成度图像，每步精准继承前序结构细节，体现统一表征的上下文保持能力。

2. 高价值行业落地

• 智能办公自动化：
  生成商业信息图、PPT可视化内容时，直接输出排版严谨、数据准确的交付物，替代人工80%的重复性设计工作。
• 机器人具身智能：
  作为单一模型闭环的”具身大脑”，支持机器人同步完成环境感知、逻辑推演与动作规划，为工业、服务场景提供技术基础。

3. 开发与部署优化

• 低显存推理支持：
  通过GGUF量化与分层卸载VRAM模式，可在单GPU（如RTX 3090）上运行8B-MoT模型，但需严格匹配分辨率规范（如16:9需用2720×1536而非1360×768）。
• 国产芯片深度适配：
  发布当日即获昇腾、寒武纪等十家国产芯片Day 0适配，昇腾910C平台在2048×2048分辨率生成任务中推理时延从98.6秒降至39.1秒。