TrainLoRA 노드
TrainLoRA 노드는 제공된 잠재 표현(latents)과 컨디셔닝 데이터를 사용하여 확산 모델에 대한 LoRA(저차원 적응) 모델을 생성하고 학습합니다. 사용자 정의 학습 매개변수, 최적화기 및 손실 함수를 사용하여 모델을 미세 조정할 수 있습니다. 이 노드는 학습된 LoRA 가중치, 손실 이력 맵 및 완료된 총 학습 단계 수를 출력합니다.입력
| 매개변수 | 설명 | 데이터 타입 | 필수 | 범위 |
|---|---|---|---|---|
모델 | LoRA를 학습할 모델입니다. | MODEL | 예 | - |
잠재 변수 | 학습에 사용할 잠재 표현으로, 모델의 데이터셋/입력 역할을 합니다. | LATENT | 예 | - |
긍정 조건 | 학습에 사용할 긍정 컨디셔닝입니다. | CONDITIONING | 예 | - |
배치 크기 | 학습에 사용할 배치 크기입니다(기본값: 1). | INT | 예 | 1-10000 |
기울기 누적 단계 수 | 학습에 사용할 그래디언트 누적 단계 수입니다(기본값: 1). | INT | 예 | 1-1024 |
단계 수 | LoRA를 학습할 단계 수입니다(기본값: 16). | INT | 예 | 1-100000 |
학습률 | 학습에 사용할 학습률입니다(기본값: 0.0005). | FLOAT | 예 | 0.0000001-1.0 |
랭크 | LoRA 계층의 순위입니다(기본값: 8). | INT | 예 | 1-128 |
옵티마이저 | 학습에 사용할 최적화기입니다(기본값: “AdamW”). | COMBO | 예 | ”AdamW" "Adam" "SGD" "RMSprop” |
손실 함수 | 학습에 사용할 손실 함수입니다(기본값: “MSE”). | COMBO | 예 | ”MSE" "L1" "Huber" "SmoothL1” |
시드 | 학습에 사용할 시드입니다(LoRA 가중치 초기화 및 노이즈 샘플링을 위한 생성기에 사용됨)(기본값: 0). | INT | 예 | 0-18446744073709551615 |
훈련 데이터 타입 | 학습에 사용할 데이터 타입입니다. ‘none’은 모델의 기본 계산 데이터 타입을 재정의하지 않고 유지합니다. fp16 모델의 경우 GradScaler가 자동으로 활성화됩니다(기본값: “bf16”). | COMBO | 예 | ”bf16" "fp32" "none” |
LoRA 데이터 타입 | LoRA에 사용할 데이터 타입입니다(기본값: “bf16”). | COMBO | 예 | ”bf16" "fp32” |
quantized_backward | training_dtype이 ‘none’이고 양자화된 모델에서 학습할 때, 활성화되면 역전파 시 양자화된 행렬 곱셈을 사용합니다(기본값: False). | BOOLEAN | 예 | - |
알고리즘 | 학습에 사용할 알고리즘입니다. | COMBO | 예 | 여러 옵션 사용 가능 |
기울기 체크포인팅 | 학습에 그래디언트 체크포인팅을 사용합니다(기본값: True). | BOOLEAN | 예 | - |
checkpoint_depth | 그래디언트 체크포인팅의 깊이 수준입니다(기본값: 1). | INT | 예 | 1-5 |
offloading | GPU 메모리 절약을 위해 학습 중 모델 가중치를 CPU로 오프로드합니다(기본값: False). | BOOLEAN | 예 | - |
기존 LoRA | 추가할 기존 LoRA입니다. 새 LoRA의 경우 None으로 설정합니다(기본값: “[None]”). | COMBO | 예 | 여러 옵션 사용 가능 |
bucket_mode | 해상도 버킷 모드를 활성화합니다. 활성화되면 ResolutionBucket 노드에서 사전 버킷팅된 잠재 표현을 필요로 합니다(기본값: False). | BOOLEAN | 예 | - |
bypass_mode | 학습을 위한 우회 모드를 활성화합니다. 활성화되면 어댑터가 가중치 수정 대신 순방향 훅을 통해 적용됩니다. 가중치를 직접 수정할 수 없는 양자화된 모델에 유용합니다(기본값: False). | BOOLEAN | 예 | - |
training_dtype 참고: “none”으로 설정하면 모델의 기본 계산 데이터 타입이 유지됩니다. fp16 모델의 경우 그래디언트 계산 중 언더플로를 방지하기 위해 GradScaler가 자동으로 활성화됩니다. fp16_accumulation도 활성화된 경우(--fast 플래그를 통해), 이 조합은 수치적으로 불안정하여 NaN 값을 유발할 수 있습니다.
quantized_backward 참고: 이 매개변수는 training_dtype이 “none”으로 설정되고 모델이 양자화된 모델인 경우에만 관련됩니다. 역전파 중 양자화된 행렬 곱셈을 활성화합니다.
bypass_mode 참고: 활성화되면 어댑터가 모델 가중치를 직접 수정하는 대신 순방향 훅을 통해 적용됩니다. 이는 가중치를 직접 수정할 수 없는 양자화된 모델에 특히 유용합니다.
출력
| 출력 이름 | 설명 | 데이터 타입 |
|---|---|---|
손실 맵 | 저장하거나 다른 모델에 적용할 수 있는 학습된 LoRA 가중치입니다. | LORA_MODEL |
스텝 | 시간에 따른 학습 손실 값을 포함하는 사전입니다. | LOSS_MAP |
단계 수 | 완료된 총 학습 단계 수입니다(기존 LoRA의 이전 단계 포함). | INT |
이 문서는 AI에 의해 생성되었습니다. 오류를 발견하거나 개선 제안이 있으시면 기여해 주세요! GitHub에서 편집
Source fingerprint (SHA-256):
df315ef416ff3ce81e6a526af2c4e5115980e6c35830825967e7189d4f8541d8