メインコンテンツへスキップ
WeVisOne-VL は、文章ではなく図形で答えを返すコンパクトなビジョン言語モデルです。画像と短いテキストクエリを渡すと、ボックス、ポイント、またはインスタンスごとのアルファマットを1回のパスで返します。アノテーションも、オブジェクトごとのプロンプトも不要です。 ComfyUI では WeVisOne-VL Detect ノードとして動作します。以下のテンプレートはこれをサブグラフでラップし、マット、ソース画像上に描画したボックス、前景と背景の切り抜きをプレビューするので、マットをそのまま背景除去、マスキング、合成のチェーンに渡せます。 重みは Apache-2.0 の Tencent リリースを ComfyUI 向けに再パッケージしたもので、Comfy-Org/WeVisOne-VL で公開されています。サポートは ComfyUI #17632 で追加され、テンプレートには ComfyUI 0.45.0 以降が必要です。
ComfyUI が最新版に更新されていることを確認してください。このガイドで紹介するワークフローは、ワークフローテンプレートから入手できます。 テンプレート内に該当のワークフローが見つからない場合、ComfyUI のバージョンが古くなっている可能性があります。ワークフローを読み込んだ際にノードが欠落している場合の考えられる原因:
  1. 最新の ComfyUI(Nightly 版)を使用していない
  2. 起動時に一部のノードのインポートに失敗している

画像セグメンテーション: WeVisOne-VL

切り抜きたい対象を query に入力して実行します。デフォルトの segmentation タスクとクエリ human では、見つけた人物をまとめた1枚のマットと、そのボックスを返します。人物ごとに分けるには、ノードの individual_masks をオンにします。 マット、ボックス、切り抜きを含む WeVisOne-VL セグメンテーションワークフローのプレビュー

ワークフローをダウンロード

JSON をダウンロードするか、テンプレートライブラリで “画像セグメンテーション:WeVisOne-VL” を検索してください
入力マテリアル

utility_image_segment_wevisone_vl_input.png

LoadImage ノードに読み込みます

タスク

taskウィジェットは、クエリをcheckpointが学習した指示に書き換えます。各タスクは、クエリをそれぞれ少し異なる形式で受け取ります。 クエリは短くしてください。完全な文にするとsegmentationが長々と出力してしまい、対象を名指しする句のほうが、その説明よりも適切に機能します。

モデル

このワークフローは 2B INT8 テキストエンコーダーを読み込みます。残りの3つのファイルは、CLIPLoader ノード(stable_diffusion タイプ)の clip_name にそのまま差し替えられるものです。4B のペアはより大きく低速で、BF16 ファイルはサイズと引き換えに精度を得られます。

2B INT8(このワークフロー)

wevisone_vl_2b_int8_convrot.safetensors → ComfyUI/models/text_encoders/

2B BF16

wevisone_vl_2b_bf16.safetensors → ComfyUI/models/text_encoders/

4B INT8

wevisone_vl_4b_int8_convrot.safetensors → ComfyUI/models/text_encoders/

4B BF16

wevisone_vl_4b_bf16.safetensors → ComfyUI/models/text_encoders/

ノードをさらに細かく制御する

  • individual_masks: on の場合、ボックスごとに1つのマスク。off の場合、フレームごとに1つの結合マスク
  • max_length: 回答の長さの上限。デフォルトは 4096 トークンで、最大 32768 まで
  • 出力: masks、bboxes、points(x、y、label、frame を含む JSON)、および text(生の回答)