MOSS-Image – OpenMOSS原生布局控制开源文生图模型

MOSS‑Image 是 OpenMOSS 团队推出的开源文生图模型系列，包含 MOSS‑Image‑Base 与 MOSS‑Image‑SFT 两套权重，骨干网络为 5B 参数单流 DiT 架构。该模型突破普通文生图方案只能依靠自然语言描述生成画面的局限，支持 JSON 格式结构化布局指令，通过边界框定义画面物体、文字的位置与尺寸。提示词上限可达 4K token，中英文字渲染效果得到专项优化，可输出写实、动漫多类风格画面。整套权重与项目代码基于 Apache‑2.0 协议对外释放，配套 Gradio 网页演示、Python 推理管线，兼容 ComfyUI 生态，本地 GPU 环境即可完成部署推理。

MOSS-Image特点

原生 JSON 布局输入，借助边界框坐标约束画面元素位置、大小，实现画面构图可控。

双权重版本划分，Base 面向二次微调开发，SFT 经过精选数据微调，画面文字排布更规整。

长提示词承载能力，最高支持 4K token 输入，适配信息密度高的复杂场景描述。

中英双语文字渲染，生成图像内的印刷、手写文本保持较高可读性。

多风格输出，覆盖写实摄影、二次元动漫、插画、海报设计等画面类型。

完整开源生态，提供推理脚本、网页 UI、ComfyUI 插件，支持 LoRA 二次训练。

MOSS-Image技术原理

采用 5B 参数单流 DiT 扩散 Transformer 主干，基于 Muon 优化器完成预训练。文本编码器处理自然语言描述与 JSON 布局结构，把文字、边界框坐标信息统一映射为隐空间特征向量。布局解析模块解析 JSON 内部的画布参数、元素标签、坐标数据，将空间约束嵌入扩散采样流程。Base 版本完成基础图像生成预训练，SFT 版本使用筛选后的图文样本开展指令微调，优化文字分组、元素排布逻辑。采样阶段使用 Flow‑matching Euler 采样器，配合指定层跳过策略，平衡生成速度与画面品质。

MOSS-Image项目地址

• 项目官网：https://openmoss.ai/MOSS-Image/
• GitHub仓库：https://github.com/OpenMOSS/MOSS-Image

MOSS-Image功能

普通自然语言文生图，输入文字描述直接产出对应图像。

布局可控图像生成，传入 JSON 配置，设定画布、物体、文字的坐标位置生成海报、分镜图。

中英文字画面渲染，生成带有手写、印刷文字的图片素材。

长描述复杂场景生成，接收大段提示词，还原细节丰富的复杂画面。

Prompt 增强工具，将简易创意描述转换为完整图文提示与布局 JSON。

支持 LoRA 微调，基于 Base 权重开展领域定制化模型训练。

MOSS-Image应用场景

海报、宣传单页设计，精确控制标题、图形元素在画布的摆放位置。

漫画分镜、多元素合成图制作，固定角色、道具的画面坐标。

教学课件、白板板书类图像生成，产出带清晰中英文手写文字的素材。

动漫插画创作，产出多角色、多物体排布的二次元画面。

文生图算法实验，布局控制、图像文字渲染方向的对照测试。

本地 AI 绘图工作流，接入 ComfyUI 搭建批量图像产出管线。

MOSS-Image如何使用

准备 Python3.10 以上版本环境，配置适配 CUDA 的 PyTorch 与 Nvidia 显卡硬件。

克隆项目代码仓库，创建虚拟环境，安装项目依赖组件。

选择 MOSS‑Image‑Base 或者 MOSS‑Image‑SFT 权重，通过 Diffusers 加载自定义推理管线。

普通生成直接输入文本提示词，布局生成构造 JSON 布局参数，转为字符串传入推理接口。

设置图像宽高、推理步数、引导系数等采样参数，执行生成并保存输出图片。

启动 Gradio 网页程序，在可视化界面输入提示词或者粘贴 JSON 布局直接生成预览。

ComfyUI 用户在插件管理器安装 MOSS‑Image 插件，加载权重，搭建布局生成工作流。

需要定制效果，准备领域数据集，基于 Base 版本开展 LoRA 微调，导出适配权重投入使用。