HiDream-E1 是智象未来(HiDream-ai) 于 2025 年 4 月 28 日正式开源的交互式图像编辑大模型,是基于 HiDream-I1 构建的图像编辑模型。

可以使用自然语言来实现对图像的编辑,该模型基于 MIT 许可证 发布,支持用于个人项目、科学研究以及商用。 通过与此前发布的 hidream-i1的共同组合,实现了 从图像生成到编辑的 创作能力。

目前 ComfyUI 已原生支持了 HiDream E1, 在文本中,我们将引导你完成在 ComfyUI 中使用 HiDream e1 并完成对应工作流的示例。

供参考,本文工作流在 Google Colab L4 22.5GB显存下采样步数 28步首次运行消耗 500s,第二次运行消耗 370s。

HiDream-E1 相关信息

HiDream-E1 模型下载* 目前 HiDream 提供了 full 版本,下面是对应模型信息:

名称推理步骤分辨率HuggingFace 仓库
HiDream-E1-Full28768x768🤗 HiDream-E1-Full

-Github

ComfyUI 原生 HiDream-e1 工作流示例

请在开始之前升级你的 ComfyUI 到最新版本(最新的 commit),以保证你的 ComfyUI 具有相关支持。

1. HiDream-e1 工作流及相关文件下载

1.1 下载工作流文件

请下载下面的图片并拖入 ComfyUI 中,工作流已包含模型下载信息,加载后将会提示你进行对应的模型下载。

1.2 下载输入图片

请下载下面的图片,我们将用于输入

2.手动模型安装 HiDream-e1 相关模型

本篇指南涉及的所有模型你都可以在这里找到,请下载对应文件并保存到相应的文件夹。

下面的模型文件是我们会共用的模型文件,请点击对应的链接进行下载,并参照模型文件保存位置进行保存,对应的 diffusion models 模型我们会在对应工作流中引导你进行下载。

text_encoders

VAE

  • ae.safetensors 这个是 Flux 的 VAE 模型,如果你之前使用过 Flux 的工作流,你可能已经下载了这个文件。

diffusion models

模型文件保存位置

📂 ComfyUI/
├── 📂 models/
│   ├── 📂 text_encoders/
│   │   ├─── clip_l_hidream.safetensors
│   │   ├─── clip_g_hidream.safetensors
│   │   ├─── t5xxl_fp8_e4m3fn_scaled.safetensors
│   │   └─── llama_3.1_8b_instruct_fp8_scaled.safetensors
│   └── 📂 vae/
│   │   └── ae.safetensors
│   └── 📂 diffusion_models/
│       └── hidream_e1_full_bf16.safetensors   

3. 按步骤完成 HiDream-e1 工作流运行

按步骤完成工作流的运行

  1. 确保Load Diffusion Model 节点加载了 hidream_e1_full_bf16.safetensors 模型
  2. 确保QuadrupleCLIPLoader 中四个对应的 text encoder 被正确加载
    • clip_l_hidream.safetensors
    • clip_g_hidream.safetensors
    • t5xxl_fp8_e4m3fn_scaled.safetensors
    • llama_3.1_8b_instruct_fp8_scaled.safetensors
  3. 确保Load VAE 节点中使用的是 ae.safetensors 文件
  4. Load Image 节点中加载我们之前下载的输入图片
  5. (重要)在Empty Text Encoder(Positive) 节点中输入 想要修改的画面的提示词
  6. 点击 Run 按钮,或者使用快捷键 Ctrl(cmd) + Enter(回车) 来执行图片生成

ComfyUI HiDream-e1 工作流补充说明

  • 可能需要修改多次提示词或者进行多次的生成才能得到较好的结果
  • 这个模型在改变图片风格上比较难保持一致性,需要尽可能完善提示词
  • 由于模型支持的是 768*768 的分辨率,在实际测试中调整过其它尺寸,在其它尺寸下图像表现能力不佳,甚至差异较大