メインコンテンツへスキップ
LoRA(Low-Rank Adaptation:低ランク適応) は、Stable Diffusion などの大規模生成モデルを微調整するための効率的な手法です。
事前に学習済みのモデルに、学習可能な低ランク行列を導入することで、モデル全体の再学習ではなく、一部のパラメータのみを調整し、特定のタスクに対する最適化を、比較的低い計算コストで実現します。
SD1.5 などのベースモデルと比較して、LoRA モデルはファイルサイズが小さく、学習も容易です。
LoRA モデルとベースモデルの比較 上図は、同一のパラメータ設定で dreamshaper_8 を直接使用した場合と、blindbox_V1Mix LoRA モデルを使用した場合の画像生成結果を比較したものです。
ご覧の通り、LoRA モデルを活用することで、ベースモデル自体を変更せずに、異なるスタイルの画像を生成できます。
本チュートリアルでは、LoRA モデルの使用方法を実際にご確認いただきます。Lycoris、loha、lokr、locon など、すべての LoRA 変種は、同様の手順で使用できます。 この例では、ComfyUI において LoRA モデルを読み込み・使用する方法を学び、以下のトピックをカバーします:
  1. LoRA モデルのインストール
  2. LoRA モデルを用いた画像生成
  3. Load LoRA ノードの簡単な紹介

必要なモデルのインストール

dreamshaper_8.safetensors ファイルをダウンロードし、ComfyUI/models/checkpoints フォルダー内に保存してください。 blindbox_V1Mix.safetensors ファイルをダウンロードし、ComfyUI/models/loras フォルダー内に保存してください。

LoRA ワークフロー ファイル

以下の画像をダウンロードし、ComfyUI へドラッグ&ドロップしてワークフローを読み込んでください。\ ComfyUI ワークフロー - LoRA
メタデータにワークフローの JSON を含む画像は、ComfyUI へ直接ドラッグ&ドロップするか、メニューの WorkflowsOpen (ctrl+o) を使って読み込むことができます。

ワークフローのステップバイステップ実行

下図の手順に従って、ワークフローが正しく実行されるよう確認してください。 ComfyUI ワークフロー - LoRA フローダイアグラム
  1. Load Checkpointdreamshaper_8.safetensors を読み込んでいることを確認
  2. Load LoRAblindbox_V1Mix.safetensors を読み込んでいることを確認
  3. Queue ボタンをクリックするか、ショートカット Ctrl(macOS の場合は Cmd) + Enter を押して画像を生成

Load LoRA ノードの紹介

Load LoRA ノード ComfyUI\models\loras フォルダー内のモデルは、ComfyUI によって自動検出され、このノードから読み込むことができます。

入力パラメーター

パラメーター名機能
modelベースモデルに接続
clipCLIP モデルに接続
lora_name読み込み・使用する LoRA モデルを選択
strength_modelLoRA がモデルの重み(weights)に与える影響の強さを制御;値が大きいほど、LoRA のスタイルが強く反映されます
strength_clipLoRA が CLIP のテキスト埋め込み(text embeddings)に与える影響の強さを制御

出力パラメーター

パラメーター名機能
modelLoRA の調整を適用したモデルを出力
clipLoRA の調整を適用した CLIP モデルを出力
このノードはチェーン接続に対応しており、複数の Load LoRA ノードを直列に接続することで、複数の LoRA モデルを同時に適用できます。詳細については、ComfyUI 複数 LoRA 使用例 をご参照ください。 LoRA ノードのチェーン接続

実際に試してみましょう

  1. プロンプトを変更したり、Load LoRA ノードのパラメーター(例:strength_model)を調整して、生成画像の変化を観察し、Load LoRA ノードの挙動に慣れてください。
  2. CivitAI へアクセスし、他の種類の LoRA モデルをダウンロードして、実際に使用してみてください。