メインコンテンツへスキップ

​
T2I Adapter とは

T2I-Adapter は、Tencent ARC ラボ が開発した軽量なアダプターであり、テキストから画像を生成するモデル（例：Stable Diffusion）の構造・色・スタイル制御能力を強化することを目的としています。
外部条件（エッジ検出マップ、深度マップ、スケッチ、またはカラーリファレンス画像など）をモデル内部の特徴量と整合させることで、元のモデル構造を変更せずに高精度な制御を実現します。パラメーター数は約77M（ファイルサイズは約300MB）と非常に小さく、ControlNet と比較して推論速度は約3倍高速です。また、複数の条件を組み合わせた制御（例：スケッチ＋カラーグリッド）もサポートしています。主な応用分野には、線画からの画像生成、カラースタイルの転送、多要素シーンの生成などがあります。

​
T2I Adapter と ControlNet の比較

機能は類似していますが、実装および応用面では明確な違いがあります：
  1. 軽量設計：T2I Adapter はパラメーター数が少なく、メモリ使用量も小さい
  2. 推論速度：T2I Adapter は通常、ControlNet よりも約3倍高速
  3. 制御精度：特定のシナリオでは ControlNet の方がより精密な制御が可能ですが、T2I Adapter は軽量な制御に適しています
  4. 複数条件の組み合わせ：複数条件を併用する場合、T2I Adapter はリソース効率の面でより顕著な優位性を示します

​
T2I Adapter の主な種類

T2I Adapter は、さまざまな側面を制御するために複数のタイプを提供しています：
  • Depth（深度）：画像内の空間構造および奥行き関係を制御
  • Line Art（Canny／Sketch：線画）：画像の輪郭および線を制御
  • Keypose（キーポーズ）：人物のポーズおよび動作を制御
  • Segmentation（Seg：セグメンテーション）：セマンティックセグメンテーションを用いてシーンのレイアウトを制御
  • Color（色）：画像全体の配色を制御
ComfyUI における T2I Adapter の使用方法は、インターフェースおよびワークフローの観点から ControlNet と類似しています。本例では、深度 T2I Adapter を用いた室内シーンの制御方法を実演します。 ComfyUI Depth T2I Adapter ワークフロー

​
Depth T2I Adapter の応用価値

深度マップ（Depth Map）は、画像生成において以下のような重要な応用があります：
  1. 空間レイアウト制御：三次元空間構造を正確に表現でき、室内デザインや建築可視化に適しています
  2. オブジェクトの配置制御：シーン内におけるオブジェクトの相対的な位置およびサイズを制御でき、製品展示やシーン構築に適しています
  3. 遠近感の制御：合理的な遠近法および比率を維持でき、風景や都市シーンの生成に適しています
  4. ライティングおよびシャドウのレイアウト：深度情報に基づく自然な光と影の分布により、リアリズムが向上します
本チュートリアルでは室内デザインを例に、Depth T2I Adapter の使い方を解説しますが、これらの手法は他の応用シーンにも同様に適用可能です。

​
ComfyUI Depth T2I Adapter ワークフローの解説

​
1. Depth T2I Adapter ワークフローの素材

以下のワークフローアイコン画像をダウンロードし、ComfyUI へドラッグ＆ドロップすることで、ワークフローを読み込むことができます： ComfyUI ワークフロー - Depth T2I Adapter
メタデータにワークフローの JSON を含む画像は、ComfyUI へ直接ドラッグ＆ドロップするか、メニュー Workflows → Open（Ctrl+O） を使って読み込むことができます。
この画像には既に対応するモデルのダウンロードリンクが埋め込まれており、ComfyUI へドラッグ＆ドロップすると自動的にダウンロードが促されます。
以下の画像をダウンロードし、入力画像として使用します： ComfyUI 室内深度マップ

​
2. モデルのインストール

ネットワーク環境によって自動ダウンロードが完了しない場合は、以下のモデルを手動でダウンロードし、指定されたディレクトリに配置してください：
ComfyUI/
├── models/
│   ├── checkpoints/
│   │   └── interiordesignsuperm_v2.safetensors
│   └── controlnet/
│       └── t2iadapter_depth_sd15v2.pth

​
3. ワークフロー実行の手順

ComfyUI ワークフロー - Depth T2I Adapter フローダイアグラム
  1. Load Checkpoint ノードが interiordesignsuperm_v2.safetensors を正常に読み込めていることを確認します
  2. Load ControlNet ノードが t2iadapter_depth_sd15v2.pth を正常に読み込めていることを確認します
  3. Load Image ノード内の Upload ボタンをクリックし、前述の入力画像をアップロードします
  4. Queue ボタンをクリックするか、ショートカット Ctrl（Cmd） + Enter を押して画像生成を実行します

​
T2I Adapter の一般的な使用テクニック

​
入力画像の品質最適化

応用シーンを問わず、高品質な入力画像は T2I Adapter を成功裏に活用するための鍵となります：
  1. 適度なコントラスト：制御用画像（深度マップ、線画など）は明瞭なコントラストを持つべきですが、極端に強いコントラストは避けてください
  2. 明確な境界線：制御用画像内で、主要な構造および要素の境界がはっきりと識別できるようにしてください
  3. ノイズの抑制：特に深度マップや線画では、過剰なノイズを避けましょう
  4. 合理的なレイアウト：制御用画像は、空間的なバランスと要素の分布が適切である必要があります

​
T2I Adapter の使用上の特徴

T2I Adapter の大きな利点の一つは、複数の制御条件を容易に組み合わせて、高度な制御効果を得られることです：
  1. Depth ＋ Edge（深度 ＋ エッジ）：空間レイアウトを制御しつつ、構造的なエッジを明確に保つ。建築・室内デザインに適しています
  2. Line Art ＋ Color（線画 ＋ 色）：形状を制御しつつ、カラースキームを指定。キャラクターデザインやイラスト制作に適しています
  3. Keypose ＋ Segmentation（キーポーズ ＋ セグメンテーション）：人物の動作を制御しつつ、シーン内の領域を定義。複雑な物語的シーンに適しています
異なる T2I Adapter 同士の組み合わせ、あるいは ControlNet や領域ごとのプロンプトなどの他の制御手法との併用により、さらに幅広いクリエイティブな可能性が広がります。このような混合制御を実現するには、ControlNet の混合 で説明されているのと同じ方法で、複数の Apply ControlNet ノードを連鎖的に接続するだけです。