Skip to main content
Marigold V2 是华为拜耳实验室推出的一系列单目估计模型,该系列将扩散 transformer(Qwen-Image Edit 2509)重新用于几何与固有图像估计。仅凭一张 RGB 图像,这些模型就能预测深度图、表面法线或反照率,延续了原始的 Marigold(CVPR 2024,同样将 Stable Diffusion 用于该任务)的思路。V2 系列模型以 LoRA 的形式发布在一个共享的基础扩散模型之上,因此每个文件的下载体积都很小,并且三项使用例的工作流结构完全一致。 与经典深度网络相比,这种基于扩散的方法能生成锐利且边界感知良好的预测结果,并且无需重新训练即可泛化到开放域图像。典型用途包括图像与视频生成中的深度引导控制、3D 场景重建流水线、重打光,以及由估计出的反照率驱动的材质编辑。 Marigold V2 已在 ComfyUI 中原生支持。开始之前,请先将 ComfyUI 更新到最新版本。
请确保你的 ComfyUI 已经更新。本指南里的工作流可以在工作流模板中找到。如果找不到,可能是 ComfyUI 没有更新。如果加载工作流时有节点缺失,可能原因有:
  1. 你用的不是最新版(每夜版)。
  2. 启动时有些节点导入失败。

模型安装

每个工作流使用四个文件:共享的基础 diffusion 模型,以及特定任务的 LoRA、VAE 和条件 embedding。三个任务使用不同的 LoRA、VAE 和条件文件,因此下面的每个工作流章节都链接了它所需的确切文件。 基础 diffusion 模型由三个工作流共享:

Diffusion 模型

qwen_image_edit_2509_int8_convrot.safetensors → ComfyUI/models/diffusion_models/
如果你打算运行全部三个任务,请从各工作流章节下载对应的 LoRA、VAE 和条件 embedding,并按照每个章节所示的位置存放它们。

深度估计

从单张图像预测深度图。解码后的预测结果会被归一化,使距离较近的表面显得更亮。 Marigold V2 深度估计工作流预览

在 Comfy Cloud 上运行

在 Comfy Cloud 中打开

下载工作流

下载 JSON,或在模板库中搜索 “深度估计:Marigold V2”
输入素材 将该文件上传到对应的 LoadImage 节点:

ev_suv_gold_desert_pavilion.png

LoadImage 节点 · ev_suv_gold_desert_pavilion.png

1. 运行步骤

  1. LoadImage 节点中加载输入图像
  2. 运行工作流:基础模型会加载深度 LoRA,Marigold V2 Post-Process 节点会将解码后的预测归一化
  3. 保存或预览生成的深度图

2. 模型下载

深度 LoRA

marigold_v2_depth_log_stage2.safetensors → ComfyUI/models/loras/

深度 VAE

marigold_v2_depth_log_stage2_vae.safetensors → ComfyUI/models/vae/

深度条件 embedding

marigold_v2_depth_conditioning.safetensors → ComfyUI/models/embeddings/

表面法线估计

从单张图像预测逐像素的表面法线。输出将每个像素映射到其表面朝向,可用于重打光和几何分析。 Marigold V2 表面法线估计工作流预览

在 Comfy Cloud 上运行

在 Comfy Cloud 中打开

下载工作流

下载 JSON,或在模板库中搜索 “表面法线估计:Marigold V2”
输入素材 将该文件上传到对应的 LoadImage 节点:

greek_statue_orange_cloth.png

LoadImage 节点 · greek_statue_orange_cloth.png

1. 运行步骤

  1. LoadImage 节点中加载输入图像
  2. 加载法线 LoRA 后运行工作流
  3. 保存或预览生成的法线贴图

2. 模型下载

法线 LoRA

marigold_v2_normals.safetensors → ComfyUI/models/loras/

法线 VAE

marigold_v2_normals_vae.safetensors → ComfyUI/models/vae/

法线条件 embedding

marigold_v2_normals_conditioning.safetensors → ComfyUI/models/embeddings/

反照率估计

预测单张图像的反照率(固有颜色),将材质颜色与光照和阴影分离。输出由 Marigold V2 Post-Process 节点转换为 sRGB。 Marigold V2 反照率估计工作流预览

在 Comfy Cloud 上运行

在 Comfy Cloud 中打开

下载工作流

下载 JSON,或在模板库中搜索 “反照率估计:Marigold V2”
输入素材 将该文件上传到对应的 LoadImage 节点:

flower_with_texture.png

LoadImage 节点 · flower_with_texture.png

1. 运行步骤

  1. LoadImage 节点中加载输入图像
  2. 加载反照率 LoRA 后运行工作流
  3. 保存或预览生成的反照率图像

2. 模型下载

反照率 LoRA

marigold_v2_albedo.safetensors → ComfyUI/models/loras/

反照率 VAE

marigold_v2_albedo_vae.safetensors → ComfyUI/models/vae/

反照率条件 embedding

marigold_v2_albedo_conditioning.safetensors → ComfyUI/models/embeddings/

Marigold V2 后处理节点

每个工作流都以 Marigold V2 Post-Process 节点结尾,该节点会将解码后的原始预测转换为可查看的图像。prediction 选项必须与任务匹配:
  • depth:对预测进行归一化,使靠近的表面显得明亮
  • normals:将原始值映射为单位表面法线
  • albedo:将预测转换为 sRGB