USO (Unified Style-Subject Optimized) 是字节跳动 UXO 团队开发的模型,统一了风格驱动和主体驱动生成任务。 基于 FLUX.1-dev 架构构建,该模型通过解耦学习和风格奖励学习 (SRL) 实现了风格相似性和主体一致性。 USO 支持三种主要方法:
  • 主体驱动:将主体放置到新场景中,同时保持身份一致性
  • 风格驱动:基于参考图像将艺术风格应用于新内容
  • 组合模式:同时使用主体和风格参考
相关链接

字节跳动 USO ComfyUI 原生工作流

请确保你的 ComfyUI 已经更新。本指南里的工作流可以在 ComfyUI 的工作流模板中找到。如果找不到,可能是 ComfyUI 没有更新。如果加载工作流时有节点缺失,可能原因有:
  1. 你用的不是最新开发版(nightly)。
  2. 你用的是稳定版或桌面版(没有包含最新的更新)。
  3. 启动时有些节点导入失败。

1. 工作流和输入

下载下方图像并拖拽到 ComfyUI 中以加载对应的工作流。 工作流

下载 JSON 工作流

使用下面的图片作为输入 输入图像

2. 模型链接

checkpoints loras model_patches clip_visions 请下载所有模型并将它们放置在以下目录中:
📂 ComfyUI/
├── 📂 models/
│   ├── 📂 checkpoints/
│   │   └── flux1-dev-fp8.safetensors
│   ├── 📂 loras/
│   │   └── uso-flux1-dit-lora-v1.safetensors
│   ├── 📂 model_patches/
│   │   └── uso-flux1-projector-v1.safetensors
│   ├── 📂 clip_visions/
│   │   └── sigclip_vision_patch14_384.safetensors

3. 工作流说明

工作流说明
  1. 加载模型:
    • 1.1 确保 Load Checkpoint 节点已加载 flux1-dev-fp8.safetensors
    • 1.2 确保 LoraLoaderModelOnly 节点已加载 dit_lora.safetensors
    • 1.3 确保 ModelPatchLoader 节点已加载 projector.safetensors
    • 1.4 确保 Load CLIP Vision 节点已加载 sigclip_vision_patch14_384.safetensors
  2. 点击 Upload 上传我们提供的输入图像
  3. 在示例中,我们只使用 content reference 图像输入。如果你想使用 style reference 图像输入,可以使用 Ctrl+B 绕过标记的节点组。
  4. 编写你的提示词或保持默认设置
  5. EasyCache 节点用于推理加速,但也会牺牲一些质量和细节。如果不需要使用,可以用 Ctrl+B 绕过它。
  6. 点击 Run 按钮,或使用快捷键 Ctrl(Cmd) + Enter 运行工作流

4. 补充说明

  1. 仅使用风格参考:
我们在同一个工作流中也提供了仅使用风格参考的版本 工作流 唯一的区别是我们替换了 content reference 节点,仅使用 Empty Latent Image 节点来创建一个我们需要的图像大小
  1. 你也可以 绕过(Ctrl+B) 整个 Style Reference 组,将工作流用作文本到图像的工作流,也就是这个文本存在 4 个变体
  • 仅使用内容(主体)参考
  • 仅使用风格参考
  • 混合内容及风格参考
  • 作为文生图工作流