GenEvolve – 开源图像生成智能体框架

GenEvolve是由香港科技大学（广州）、美团、香港科技大学和新加坡国立大学等机构联合提出的开源图像生成智能体框架，将传统“一句话生图”模式升级为可自主调用外部工具、自我进化的多步骤工作流。它通过模拟人类创作时“查资料、看参考图、按需求调整”的逻辑，显著提升了复杂图像生成任务的准确性和可控性，尤其在需要外部知识或多重硬约束的场景中表现突出。

GenEvolve核心特点

1. 从“单次生成”到“工具编排”的范式转变

传统图像生成模型仅依赖用户输入的提示词（prompt）一次性输出结果，而GenEvolve将生成过程拆解为多轮决策链：智能体先理解需求，再主动调用搜索、图像检索等工具获取外部信息，最终整合成结构化生成指令。
关键价值：解决了单次提示词无法满足复杂需求的问题（如“生成埃菲尔铁塔在二战时期的准确照片”需历史知识，“画面中央是猫、左侧5只鸟且文字用中文”需空间与文字约束）。

2. 自我进化能力

智能体通过对比最优与最差生成结果，自动提炼改进策略，无需人工重新编写规则。
核心机制：系统会分析“为何某条工具调用路径效果更好”，并将经验转化为可复用的决策逻辑，持续优化后续任务表现。

3. 跨生成器的通用性

学到的工具编排策略不依赖特定图像生成模型，可适配开源模型（如Qwen-Image-Edit）或商用模型（如Nano Banana Pro）。
实验证明，同一套编排逻辑在不同生成器上均能提升结果质量，避免了传统方法中“为某个模型定制提示词”的局限性。

GenEvolve技术原理

1. 工具编排轨迹建模

GenEvolve将图像生成定义为四步闭环流程：

需求解析：理解用户请求中的隐含约束（如知识依赖或视觉细节要求）。
工具调用：智能选择三类工具：
- 文本搜索（search）：补充外部事实知识（如地标结构、历史事件）。
- 图像检索（image_search）：获取视觉参考图（如特定品牌商品的纹理）。
- 生成知识查询（query_knowledge）：激活内部处理文字、布局、材质等复杂需求的“隐藏技能”。
约束整合：将工具结果转化为结构化生成指令（prompt-reference program），明确写入硬性约束（如“必须包含3个红色杯子”）。
图像渲染：交由底层生成器输出最终图像。

2. 三阶段训练框架

（1）SFT冷启动

基于2万条人工设计的“任务菜谱”（覆盖实体、地标、文字渲染等12类场景），训练智能体掌握基础工具调用逻辑。
关键设计：数据集强调外部知识依赖性（如生成特定事件需历史资料）和视觉约束复杂性（如解剖结构准确性）。

（2）轨迹级强化学习（GRPO）

对同一任务生成多条工具调用路径，通过视觉与文本判分器筛选最优轨迹。
核心优化：不仅关注“结果是否好”，更关注“哪一步决策导致结果变好”，实现细粒度策略改进。

（3）视觉经验自蒸馏（SDL）

独创性突破：对比最优与最差轨迹的差异，提炼结构化决策指南（如“搜索时应优先查材质而非颜色”）。
将经验蒸馏至模型权重，使智能体内化决策逻辑，部署时无需额外工具库或特权教师模型。

GenEvolve核心功能

1. 知识锚定型任务

典型场景：生成依赖外部事实的图像（如真实地标、历史事件、公众人物）。
实现方式：通过文本搜索获取权威资料，确保建筑结构、人物特征等事实准确性，避免传统模型的“幻觉”问题。
效果：在知识密集型评测基准WISE上，GenEvolve（搭配开源生成器）得分0.82，超过GPT-4o的0.80。

2. 质量锚定型任务

典型场景：需满足像素级硬约束的任务（如文字渲染、数量统计、空间布局、材质一致性）。
实现方式：调用生成知识查询工具，显式激活模型内部处理复杂约束的能力，例如：
- 精确控制画面中物体数量（“左侧5只鸟”）。
- 保证文字内容与字体正确性。
- 匹配参考图的材质细节（如金属反光效果）。

3. 统一工具编排接口