メインコンテンツへスキップ
このドキュメントは AI によって生成されました。誤りを発見された場合、または改善のご提案がある場合は、ぜひご貢献ください! GitHub で編集
TrainLoraNode は、提供された潜在表現(latents)および条件付けデータを用いて、拡散モデル上に LoRA(低ランク適応:Low-Rank Adaptation)モデルを作成・学習します。このノードにより、カスタムの学習パラメーター、オプティマイザー、損失関数を用いたモデルのファインチューニングが可能です。ノードの出力には、LoRA を適用済みの学習済みモデル、LoRA の重み、学習時の損失指標、および完了した総学習ステップ数が含まれます。

入力

パラメーターデータ型必須範囲説明
modelMODELはい-LoRA を学習させる対象となるモデルです。
latentsLATENTはい-学習に使用する潜在表現(latents)。モデルのデータセット/入力として機能します。
positiveCONDITIONINGはい-学習に使用する正の条件付けデータです。
batch_sizeINTはい1–10000学習時に使用するバッチサイズ(デフォルト:1)。
grad_accumulation_stepsINTはい1–1024学習時に使用する勾配蓄積ステップ数(デフォルト:1)。
stepsINTはい1–100000LoRA の学習を行うステップ数(デフォルト:16)。
learning_rateFLOATはい0.0000001–1.0学習時に使用する学習率(デフォルト:0.0005)。
rankINTはい1–128LoRA 層のランク(デフォルト:8)。
optimizerCOMBOはい”AdamW"
"Adam"
"SGD"
"RMSprop”
学習時に使用するオプティマイザー(デフォルト:“AdamW”)。
loss_functionCOMBOはい”MSE"
"L1"
"Huber"
"SmoothL1”
学習時に使用する損失関数(デフォルト:“MSE”)。
seedINTはい0–18446744073709551615学習時に使用するシード値(LoRA 重みの初期化およびノイズサンプリングにおけるジェネレーターで使用)(デフォルト:0)。
training_dtypeCOMBOはい”bf16"
"fp32”
学習時に使用するデータ型(デフォルト:“bf16”)。
lora_dtypeCOMBOはい”bf16"
"fp32”
LoRA に使用するデータ型(デフォルト:“bf16”)。
algorithmCOMBOはい複数の選択肢あり学習時に使用するアルゴリズムです。
gradient_checkpointingBOOLEANはい-学習時に勾配チェックポイントを使用するかどうか(デフォルト:True)。
existing_loraCOMBOはい複数の選択肢あり追加対象となる既存の LoRA です。「None」を指定すると新規 LoRA が作成されます(デフォルト:“[None]”)。
注意: 正の条件付けデータの数は、潜在表現画像の数と一致していなければなりません。複数の画像に対して正の条件付けデータが 1 つだけ与えられた場合、その条件付けデータは自動的にすべての画像に対して繰り返し使用されます。

出力

出力名データ型説明
model_with_loraMODEL学習済み LoRA を適用済みの元のモデルです。
loraLORA_MODEL保存可能、あるいは他のモデルへ適用可能な学習済み LoRA の重みです。
lossLOSS_MAP時間経過に伴う学習損失値を格納した辞書です。
stepsINT完了した総学習ステップ数(既存 LoRA からの先行ステップを含む)です。