入力
| パラメータ | 説明 | データ型 | 必須 | 範囲 |
|---|---|---|---|---|
モデル | LoRAをトレーニングするモデル。 | MODEL | はい | - |
潜在変数 | トレーニングに使用する潜在変数。モデルのデータセット/入力として機能します。 | LATENT | はい | - |
ポジティブ条件付け | トレーニングに使用するポジティブ条件付け。 | CONDITIONING | はい | - |
バッチサイズ | トレーニングに使用するバッチサイズ（デフォルト: 1）。 | INT | はい | 1-10000 |
勾配蓄積ステップ数 | トレーニングに使用する勾配蓄積ステップ数（デフォルト: 1）。 | INT | はい | 1-1024 |
ステップ数 | LoRAをトレーニングするステップ数（デフォルト: 16）。 | INT | はい | 1-100000 |
学習率 | トレーニングに使用する学習率（デフォルト: 0.0005）。 | FLOAT | はい | 0.0000001-1.0 |
ランク | LoRAレイヤーのランク（デフォルト: 8）。 | INT | はい | 1-128 |
オプティマイザ | トレーニングに使用するオプティマイザ（デフォルト: “AdamW”）。 | COMBO | はい | ”AdamW" "Adam" "SGD" "RMSprop” |
損失関数 | トレーニングに使用する損失関数（デフォルト: “MSE”）。 | COMBO | はい | ”MSE" "L1" "Huber" "SmoothL1” |
シード | トレーニングに使用するシード（LoRA重み初期化とノイズサンプリング用のジェネレータで使用）（デフォルト: 0）。 | INT | はい | 0-18446744073709551615 |
training_dtype | トレーニングに使用するデータ型。‘none’はモデルのネイティブ計算データ型を保持し、上書きしません。fp16モデルの場合、GradScalerが自動的に有効になります（デフォルト: “bf16”）。 | COMBO | はい | ”bf16" "fp32" "none” |
lora_dtype | LoRAに使用するデータ型（デフォルト: “bf16”）。 | COMBO | はい | ”bf16" "fp32” |
quantized_backward | training_dtypeが’none’で量子化モデルをトレーニングする場合、有効にすると逆伝播で量子化行列乗算を使用します（デフォルト: False）。 | BOOLEAN | はい | - |
algorithm | トレーニングに使用するアルゴリズム。 | COMBO | はい | 複数のオプションが利用可能 |
gradient_checkpointing | トレーニングに勾配チェックポイントを使用するかどうか（デフォルト: True）。 | BOOLEAN | はい | - |
チェックポイント深度 | 勾配チェックポイントの深さレベル（デフォルト: 1）。 | INT | はい | 1-5 |
オフロード | トレーニング中にモデル重みをCPUにオフロードしてGPUメモリを節約するかどうか（デフォルト: False）。 | BOOLEAN | はい | - |
existing_lora | 追加する既存のLoRA。新しいLoRAの場合はNoneに設定します（デフォルト: “[None]”）。 | COMBO | はい | 複数のオプションが利用可能 |
バケットモード | 解像度バケットモードを有効にします。有効にすると、ResolutionBucketノードから事前にバケット化された潜在変数を期待します（デフォルト: False）。 | BOOLEAN | はい | - |
bypass_mode | トレーニングのバイパスモードを有効にします。有効にすると、アダプターは重み変更ではなくフォワードフックを介して適用されます。重みを直接変更できない量子化モデルに役立ちます（デフォルト: False）。 | BOOLEAN | はい | - |
training_dtypeに関する注記: “none”に設定すると、モデルのネイティブ計算データ型が保持されます。fp16モデルの場合、勾配計算中のアンダーフローを防ぐためにGradScalerが自動的に有効になります。fp16_accumulationも有効になっている場合（--fastフラグ経由）、この組み合わせは数値的に不安定になり、NaN値を引き起こす可能性があります。
quantized_backwardに関する注記: このパラメータは、training_dtypeが”none”に設定され、モデルが量子化モデルである場合にのみ関連します。逆伝播中に量子化行列乗算を有効にします。
bypass_modeに関する注記: 有効にすると、アダプターはモデル重みを直接変更するのではなく、フォワードフックを介して適用されます。これは、重みを直接変更できない量子化モデルに特に役立ちます。
出力
| 出力名 | 説明 | データ型 |
|---|---|---|
損失マップ | トレーニングされたLoRA重み。保存したり、他のモデルに適用したりできます。 | LORA_MODEL |
ステップ数 | 時間経過に伴うトレーニング損失値を含む辞書。 | LOSS_MAP |
ステップ数 | 完了したトレーニングステップの総数（既存のLoRAからの以前のステップを含む）。 | INT |
このドキュメントは AI によって生成されました。エラーを見つけた場合や改善のご提案がある場合は、ぜひ貢献してください！ GitHub で編集
Source fingerprint (SHA-256):
df315ef416ff3ce81e6a526af2c4e5115980e6c35830825967e7189d4f8541d8