メインコンテンツへスキップ
Flux.1 Canny Controlnet Flux.1 Depth Controlnet

​
FLUX.1 ControlNet モデルの概要

FLUX.1 Canny および Depth は、Black Forest Labs が提供する FLUX.1 Tools キットに含まれる2つの強力なモデルです。このツールキットは、FLUX.1 に制御およびガイダンス機能を追加することを目的としており、ユーザーが実画像や生成済み画像を修正・再生成できるようにします。 FLUX.1-Depth-dev および FLUX.1-Canny-dev は、いずれも120億パラメータの Rectified Flow Transformer モデルであり、テキストによるプロンプトに基づいて画像を生成しつつ、入力画像の構造的特徴を維持します。
Depth 版では深度マップ抽出技術を用いて元画像の空間構造を保持し、Canny 版ではエッジ検出技術を用いて元画像の構造的特徴を保持します。ユーザーは用途に応じて適切な制御手法を選択できます。 両モデルには以下の特長があります：
  • 高品質かつ高精細な出力結果
  • 元画像との構造的一貫性を保ちつつ、プロンプトへの忠実な応答能力
  • 効率向上のため、ガイド付き蒸留（guided distillation）技術で学習済み
  • 研究コミュニティ向けに重み（weights）がオープンソース化されている
  • API インターフェース（Pro版）およびオープンソースの重み（Dev版）を提供
さらに、Black Forest Labs は完全版モデルから抽出されたアダプター版 FLUX.1-Depth-dev-lora および FLUX.1-Canny-dev-lora も提供しています。
これらは FLUX.1 [dev] 基底モデルに適用することで、ファイルサイズを小さくしたまま同様の機能を実現でき、特にリソースが限られた環境に最適です。 本チュートリアルでは、FLUX.1-Canny-dev の完全版と FLUX.1-Depth-dev-lora を用いたワークフローの実行例を紹介します。
すべてのワークフロー画像のメタデータには、対応するモデルのダウンロード情報が記載されています。ワークフローの読み込みには以下の方法をご利用ください：
  • 画像を ComfyUI へ直接ドラッグ＆ドロップ
  • またはメニュー Workflows → Open（Ctrl+O） を選択
デスクトップ版を使用していない場合、あるいは一部のモデルが自動ダウンロードされない場合は、手動インストールのセクションに従い、モデルファイルを対応するフォルダーに保存してください。画像の前処理については、以下のカスタムノードをご利用いただけます。本例では、あらかじめ前処理済みの画像を入力として提供します。

​
FLUX.1-Canny-dev 完全版ワークフロー

Comfy Cloud で実行

​
1. ワークフローおよび関連アセット

下記のワークフロー画像をダウンロードし、ComfyUI にドラッグ＆ドロップしてワークフローを読み込んでください。 ComfyUI ワークフロー - ControlNet 下記の画像をダウンロードし、入力画像として使用します。 ComfyUI Flux.1 Canny Controlnet 入力画像

​
2. モデルの手動インストール

以前に Flux 関連ワークフローの完全版 を使用済みの場合、flux1-canny-dev.safetensors のみをダウンロードすれば十分です。
ただし、black-forest-labs/FLUX.1-Canny-dev のライセンス条件に同意する必要があります。そのため、black-forest-labs/FLUX.1-Canny-dev のページにアクセスし、下図のように該当リポジトリの利用規約に同意済みであることを確認してください。Flux Agreement
必要なモデル一覧： ファイルの保存先ディレクトリ構成： 
ComfyUI/
├── models/
│   ├── text_encoders/
│   │   ├── clip_l.safetensors
│   │   └── t5xxl_fp16.safetensors
│   ├── vae/
│   │   └── ae.safetensors
│   └── diffusion_models/
│       └── flux1-canny-dev.safetensors

​
3. ワークフロー実行手順（ステップ・バイ・ステップ）

ComfyUI Flux.1 Canny Controlnet 実行手順
  1. Load VAE ノードで ae.safetensors が正しく読み込まれていることを確認してください。
  2. Load Diffusion Model ノードで flux1-canny-dev.safetensors が正しく読み込まれていることを確認してください。
  3. DualCLIPLoader ノードで以下のモデルが読み込まれていることを確認してください：
    • clip_name1: t5xxl_fp16.safetensors
    • clip_name2: clip_l.safetensors
  4. Load Image ノードで上記で提供した入力画像をアップロードしてください。
  5. Queue ボタンをクリックするか、ショートカット Ctrl（Cmd） + Enter を押してワークフローを実行してください。

​
4. 実験を開始しましょう

FLUX.1-Depth-dev モデルを用いて、Depth 版のワークフローを実行してみてください。 以下の画像を入力としてご利用いただけます：
ComfyUI 室内深度マップ また、以下のカスタムノードを用いて画像の前処理を行うことも可能です：

​
FLUX.1-Depth-dev-lora ワークフロー

Comfy Cloud で実行

 LoRA 版ワークフローは、完全版ワークフローに LoRA モデルを追加したものであり、Flux ワークフローの完全版 と比較して、対応する LoRA モデルを読み込むためのノードが追加されています。

​
1. ワークフローおよび関連アセット

下記のワークフロー画像をダウンロードし、ComfyUI にドラッグ＆ドロップしてワークフローを読み込んでください。 ComfyUI ワークフロー - ControlNet 下記の画像をダウンロードし、入力画像として使用します。 ComfyUI Flux.1 Depth Controlnet 入力画像

​
2. モデルの手動ダウンロード

以前に Flux 関連ワークフローの完全版 を使用済みの場合、flux1-depth-dev-lora.safetensors のみをダウンロードすれば十分です。
必要なモデル一覧： ファイルの保存先ディレクトリ構成： 
ComfyUI/
├── models/
│   ├── text_encoders/
│   │   ├── clip_l.safetensors
│   │   └── t5xxl_fp16.safetensors
│   ├── vae/
│   │   └── ae.safetensors
│   ├── diffusion_models/
│   │   └── flux1-dev.safetensors
│   └── loras/
│       └── flux1-depth-dev-lora.safetensors

​
3. ワークフロー実行手順（ステップ・バイ・ステップ）

ComfyUI Flux.1 Depth Controlnet 実行手順
  1. Load Diffusion Model ノードで flux1-dev.safetensors が正しく読み込まれていることを確認してください。
  2. LoraLoaderModelOnly ノードで flux1-depth-dev-lora.safetensors が正しく読み込まれていることを確認してください。
  3. DualCLIPLoader ノードで以下のモデルが読み込まれていることを確認してください：
    • clip_name1: t5xxl_fp16.safetensors
    • clip_name2: clip_l.safetensors
  4. Load Image ノードで上記で提供した入力画像をアップロードしてください。
  5. Load VAE ノードで ae.safetensors が正しく読み込まれていることを確認してください。
  6. Queue ボタンをクリックするか、ショートカット Ctrl（Cmd） + Enter を押してワークフローを実行してください。

​
4. 実験を開始しましょう

FLUX.1-Canny-dev-lora モデルを用いて、Canny 版のワークフローを実行してみてください。 画像の前処理には、以下のカスタムノードをご利用ください：

​
コミュニティ提供の Flux ControlNet

XLab および InstantX＋Shakker Labs が、Flux 向けの ControlNet を公開しています。 InstantX: XLab: flux-controlnet-collections これらのファイルは ComfyUI/models/controlnet ディレクトリに配置してください。 対応するワークフロー画像は、Flux Controlnet 使用例 から取得できます。入力画像には、こちら の画像をご利用ください。