このドキュメントは AI によって生成されました。誤りを発見された場合、または改善のご提案がある場合は、ぜひご貢献ください! GitHub で編集TrainLoraNode は、提供された潜在表現(latents)および条件付けデータを用いて、拡散モデル上に LoRA(低ランク適応:Low-Rank Adaptation)モデルを作成・学習します。このノードにより、カスタムの学習パラメーター、オプティマイザー、損失関数を用いたモデルのファインチューニングが可能です。ノードの出力には、LoRA を適用済みの学習済みモデル、LoRA の重み、学習時の損失指標、および完了した総学習ステップ数が含まれます。
入力
| パラメーター | データ型 | 必須 | 範囲 | 説明 |
|---|---|---|---|---|
model | MODEL | はい | - | LoRA を学習させる対象となるモデルです。 |
latents | LATENT | はい | - | 学習に使用する潜在表現(latents)。モデルのデータセット/入力として機能します。 |
positive | CONDITIONING | はい | - | 学習に使用する正の条件付けデータです。 |
batch_size | INT | はい | 1–10000 | 学習時に使用するバッチサイズ(デフォルト:1)。 |
grad_accumulation_steps | INT | はい | 1–1024 | 学習時に使用する勾配蓄積ステップ数(デフォルト:1)。 |
steps | INT | はい | 1–100000 | LoRA の学習を行うステップ数(デフォルト:16)。 |
learning_rate | FLOAT | はい | 0.0000001–1.0 | 学習時に使用する学習率(デフォルト:0.0005)。 |
rank | INT | はい | 1–128 | LoRA 層のランク(デフォルト:8)。 |
optimizer | COMBO | はい | ”AdamW" "Adam" "SGD" "RMSprop” | 学習時に使用するオプティマイザー(デフォルト:“AdamW”)。 |
loss_function | COMBO | はい | ”MSE" "L1" "Huber" "SmoothL1” | 学習時に使用する損失関数(デフォルト:“MSE”)。 |
seed | INT | はい | 0–18446744073709551615 | 学習時に使用するシード値(LoRA 重みの初期化およびノイズサンプリングにおけるジェネレーターで使用)(デフォルト:0)。 |
training_dtype | COMBO | はい | ”bf16" "fp32” | 学習時に使用するデータ型(デフォルト:“bf16”)。 |
lora_dtype | COMBO | はい | ”bf16" "fp32” | LoRA に使用するデータ型(デフォルト:“bf16”)。 |
algorithm | COMBO | はい | 複数の選択肢あり | 学習時に使用するアルゴリズムです。 |
gradient_checkpointing | BOOLEAN | はい | - | 学習時に勾配チェックポイントを使用するかどうか(デフォルト:True)。 |
existing_lora | COMBO | はい | 複数の選択肢あり | 追加対象となる既存の LoRA です。「None」を指定すると新規 LoRA が作成されます(デフォルト:“[None]”)。 |
出力
| 出力名 | データ型 | 説明 |
|---|---|---|
model_with_lora | MODEL | 学習済み LoRA を適用済みの元のモデルです。 |
lora | LORA_MODEL | 保存可能、あるいは他のモデルへ適用可能な学習済み LoRA の重みです。 |
loss | LOSS_MAP | 時間経過に伴う学習損失値を格納した辞書です。 |
steps | INT | 完了した総学習ステップ数(既存 LoRA からの先行ステップを含む)です。 |