跳转到主要内容
WeVisOne-VL 是一个紧凑的视觉语言模型,它以形状而非文字段落来给出答案。给它一张图像和一段简短的文本查询,它就能在一次推理中返回边框、点,或每个实例的 alpha 遮罩:无需标注,也无需逐对象提示。 在 ComfyUI 中,它以 WeVisOne-VL Detect 节点运行。下面的模板将它封装在一个子图中,并预览遮罩、绘制在来源图像上的边框,以及前景和背景抠图,因此该遮罩可以直接接入背景移除、蒙版或合成流程。 权重为腾讯发布的 Apache-2.0 版本,已在 Comfy-Org/WeVisOne-VL 中为 ComfyUI 重新打包。支持已随 ComfyUI #17632 合入,该模板需要 ComfyUI 0.45.0 或更高版本。
请确保你的 ComfyUI 已经更新。本指南里的工作流可以在工作流模板中找到。如果找不到,可能是 ComfyUI 没有更新。如果加载工作流时有节点缺失,可能原因有:
  1. 你用的不是最新版(每夜版)。
  2. 启动时有些节点导入失败。

图像分割:WeVisOne-VL

在 query 中输入想要抠出的内容并运行。使用默认的 segmentation 任务和查询 human 时,画面会返回一张把找到的人合并在一起的遮罩,以及他们的盒子。若要为人各生成一张遮罩,请在节点上打开 individual_masks。 WeVisOne-VL 分割工作流预览,包含蒙版、盒子和抠图

下载工作流

下载 JSON,或在模板库中搜索 “图像分割:WeVisOne-VL”
输入素材

utility_image_segment_wevisone_vl_input.png

加载到 LoadImage 节点中

任务

task 控件会将查询改写为 checkpoint 训练时所使用的指令。每种任务接受的查询形式略有不同: 保持查询简短。完整句子会让 segmentation 输出冗长,而直接点明目标的短语比对其进行描述效果更好。

模型

该工作流加载的是 2B INT8 文本编码器。其余三个文件可直接替换 CLIPLoader 节点中的 clip_name(类型为 stable_diffusion):两个 4B 文件体积更大、速度更慢,而 BF16 文件则以体积换取精度。

2B INT8(本工作流)

wevisone_vl_2b_int8_convrot.safetensors → ComfyUI/models/text_encoders/

2B BF16

wevisone_vl_2b_bf16.safetensors → ComfyUI/models/text_encoders/

4B INT8

wevisone_vl_4b_int8_convrot.safetensors → ComfyUI/models/text_encoders/

4B BF16

wevisone_vl_4b_bf16.safetensors → ComfyUI/models/text_encoders/

对节点进行更多控制

  • individual_masks:on 时,每个边界框一个遮罩;off 时,每帧一个并集遮罩
  • max_length:回答长度上限,默认为 4096 个 token,最高为 32768 个 token
  • 输出:masks、bboxes、points(包含 x、y、label 和 frame 的 JSON)以及 text(原始回答)