跳转到主要内容
Gemini Omni Flash 1.2 是 Google 的对话式视频模型,可通过 Google Gemini Omni (Video) 合作伙伴节点在 ComfyUI 中使用。用自然语言描述镜头,附上参考图像或视频片段,节点即可返回带同步音频的视频。 1.2 版本可生成 3 至 15 秒的片段,分辨率为 360p、720p、1080p 或 4K,画面比例为 16:9 或 9:16。它最多可接收 14 张参考图像和 3 个参考视频,并可将片段延长至 30 秒。Omni Flash 1.1 和更早的预览模型仍可在该节点中选择。

Gemini Omni Flash 1.2 的擅长之处

  • 对话式编辑:更改角色、为场景重新打光、调整相机角度,或添加和移除对象,同时镜头其余部分保持其构图和音频不变
  • 多模态输入:组合文本、最多 14 张图像,以及最多 3 段各 15 秒的参考视频
  • 关键帧插值:使用 image_to_video 任务,附加起始帧和可选的结束帧,模型会生成两者之间的画面
  • 参考图生视频:将每张参考图像标记为 <IMAGE_REF_0> 并在提示词中命名,使角色或产品出现在新场景中,而不是被用作帧
  • 场景扩展:extend 任务从片段末尾帧继续生成,最长可得到 30 秒的结果,且没有可见接缝
  • 分辨率控制:以 360p 生成草稿,再将最终片段渲染至最高 4K
使用 API 节点需要保证你已经正常登录,并在受许可的网络环境下使用,请参考API 节点总览部分文档来了解使用 API 节点的具体使用要求。
请确保你的 ComfyUI 已经更新。本指南里的工作流可以在工作流模板中找到。如果找不到,可能是 ComfyUI 没有更新。如果加载工作流时有节点缺失,可能原因有:
  1. 你用的不是最新版(每夜版)。
  2. 启动时有些节点导入失败。
Gemini Omni Flash 1.2 工作流需要 ComfyUI 0.44.1 或更高版本。在节点的模型下拉菜单中选择 Omni Flash 1.2。

可用工作流

文本到视频(Omni Flash 1.2)

将场景、时长(3 到 15 秒)和运动写入一个提示词中。该节点会返回视频片段,并附带已生成的音频轨道。 Gemini Omni Flash 1.2 文本到视频工作流预览

在 Comfy Cloud 上运行

在 Comfy Cloud 中打开

下载工作流

下载 JSON,或在模板库中搜索“Gemini Omni 1.2”

图像转视频(Omni Flash 1.2)

使用 image_to_video 任务让静态图像动起来。第一张图像是起始帧,可选的第二张图像是结束帧,提示词则承载运动与声音。 Gemini Omni Flash 1.2 图像转视频工作流预览

在 Comfy Cloud 上运行

在 Comfy Cloud 中打开

下载工作流

下载 JSON,或在模板库中搜索 “Gemini Omni 1.2”

参考图生视频(Omni Flash 1.2)

让主体在新场景中保持一致。将每张参考图像标记为 <IMAGE_REF_0>,并在提示词中命名该标记:角色或产品会出现在视频中,而图像本身绝不会被用作帧。 Gemini Omni Flash 1.2 参考图生视频工作流预览

在 Comfy Cloud 上运行

在 Comfy Cloud 中打开

下载工作流

下载 JSON 或在模板库中搜索“Gemini Omni 1.2”

视频编辑(Omni Flash 1.2)

使用 edit 任务改变已完成片段中的某一处内容:替换背景、重新设计场景风格、添加或移除某个元素,同时保持剪辑、时序和音频不变。只附带一段不超过 15 秒的视频,提示词只写你想要的改动,并加上 keep everything else the same 以获得最佳一致性。 Gemini Omni Flash 1.2 视频编辑工作流预览

在 Comfy Cloud 上运行

在 Comfy Cloud 中打开

下载工作流

下载 JSON,或在模板库中搜索 “Gemini Omni 1.2”

视频延展(Omni Flash 1.2)

在已完成的片段基础上继续,而不是重新拍摄。extend 任务会读取最后几帧,并让主体、构图与音频在下一段中延续:5 秒的输入会得到 10 秒的输出。输入视频最长可达 25 秒,结果最长可达 30 秒。 Gemini Omni Flash 1.2 视频延展工作流预览

在 Comfy Cloud 上运行

在 Comfy Cloud 中打开

下载工作流

下载 JSON,或在模板库中搜索 “Gemini Omni 1.2”

开始使用

  1. 将 ComfyUI 更新到 0.44.1 或更高版本
  2. 双击画布并搜索“Google Gemini Omni (Video)”,或从模板库打开工作流
  3. 在模型下拉菜单中选择 Omni Flash 1.2
  4. 选择与你输入匹配的任务,编写提示词并运行
为获得最佳效果,可将 Gemini Omni Flash 与 Nano Banana 2 Lite 搭配使用:先高速生成图像,再将它们动画化为视频。