Gemini Omni 1.1 Flash – 谷歌迭代推出的统一架构视频生成模型

Gemini Omni 1.1 Flash 是 Google DeepMind 迭代推出的统一架构视频生成模型，模型标识 gemini‑omni‑1.1‑flash。模型把语言推理、画面渲染、音频合成放在同一套框架内部完成运算，不用拼接多个独立子模型。可通过 Google AI Studio、Gemini API、Gemini App 访问调用。单段生成片段最长 10 秒，支持分段接续生成，累计成片最长 40 秒。版本新增首尾关键帧约束、360p 草稿模式、4K 超分输出能力，兼顾快速创意调试和成品输出需求。全部生成视频嵌入 SynthID 隐形水印，标记 AI 生成内容。

Gemini Omni 1.1 Flash特点

支持文本、图片、音频、已有视频混合输入，多类参考素材可以合并提交任务。生成视频自带同步音轨，环境音效、配乐、人声对白和画面时序对齐。

360p 草稿模式生成速度更高，资源消耗降低，适合反复调试创意分镜。成片可输出 1080P，还支持 4K 超分辨率放大。

提供有状态对话编辑能力，修改基于上一轮生成结果开展，不会全部重新渲染整条视频。没有被指令改动的角色、场景、道具会维持原有状态。

支持首尾关键帧锁定，控制镜头起始和结束画面，产出顺滑过渡效果。支持视频片段接续，在已有视频末尾继续延伸故事内容。

开放标准 API 接口，方便接入第三方业务系统。

复杂长镜头运动场景，角色外观会出现漂移现象，视频内文字渲染偶尔出错。

Gemini Omni 1.1 Flash技术原理

底层采用 Gemini 统一 Transformer 主干网络，文本、图像、音频、视频全部转换为令牌序列送入同一模型完成计算，不存在分开运行的图像、音频、视频子模型。

训练环节使用经过过滤去重的大规模图文音视频样本，学习现实物理规则、光影表现、物体空间关系和镜头叙事逻辑。

有状态编辑模块保存上一轮任务完整上下文，接收新的自然语言指令完成局部画面改动。关键帧模块读取首尾画面特征，约束中间帧过渡走向。

视频接续模块读取上一段视频末尾画面特征，继承场景、角色风格，继续生成后续帧。草稿模式降低采样分辨率，压缩计算开销，提升出片速度。整套模型依托谷歌 TPU 算力集群完成推理。

Gemini Omni 1.1 Flash功能

文生视频，输入文字描述直接产出带同步音频的短视频，自定义画幅、镜头运动、光影风格。

图生视频，上传静态参考图片，保留原图主体样貌与构图，输出动态视频片段。

视频编辑，上传已有视频，依靠自然语言指令修改画面元素、光照、镜头效果，做局部调整。

视频接续生成，基于已产出片段向后延伸画面，拉长视频总时长。

关键帧插值，给定起始、结束画面，生成两者之间平滑过渡镜头。

草稿预览输出，360p 低分辨率快速生成样片，调试提示词和分镜思路。

4K 超分放大，把生成素材提升至高分辨率成片。

多素材混合输入，文本、参考图片、音频、短视频组合传入，综合多份参考信息产出结果。

API 调用，业务程序对接接口，批量完成视频生成与编辑任务。

Gemini Omni 1.1 Flash项目地址

• 项目官网：https://blog.google/innovation-and-ai/technology/developers-tools/build-with-gemini-omni-1-1-flash/

Gemini Omni 1.1 Flash应用场景

短视频创作者产出创意样片，用草稿模式反复打磨想法之后输出高清成片。

广告物料迭代，生成产品演示短片，调整画面元素产出多套版本。

影视前期预演，制作动态故事板小样，验证镜头调度与叙事节奏。

数字人短片制作，搭配人物参考素材，产出带同步配音的人物视频片段。

游戏概念预览，把概念图片转为动态片段，直观展示场景氛围。

视频类产品接入 API，在自有产品内部集成 AI 视频生成编辑能力。

教学课件素材制作，产出简短演示动画，配套音效补充课件内容。

创意内容实验，测试镜头叙事、特效表现，完成各类视频创作尝试。

Gemini Omni 1.1 Flash同类产品对比

表格