메인 콘텐츠로 건너뛰기

​
T2I 어댑터 소개

T2I-Adapter는 Tencent ARC Lab에서 개발한 경량 어댑터로, 텍스트-to-image 생성 모델(예: Stable Diffusion)의 구조적, 색상 및 스타일 제어 능력을 향상시키기 위해 설계되었습니다.
이 어댑터는 외부 조건(예: 에지 감지 맵, 깊이 맵, 스케치 또는 색상 참조 이미지)과 모델 내부 특징을 정렬하여 원본 모델 구조를 변경하지 않고도 고정밀 제어를 실현합니다. 약 77M 파라미터(크기는 약 300MB)만으로도 추론 속도가 ControlNet보다 약 3배 빠르며, 여러 조건 조합(예: 스케치 + 컬러 그리드)을 지원합니다. 적용 사례로는 선화 이미지 변환, 색상 스타일 전송, 다중 요소 장면 생성 등이 있습니다.

​
T2I 어댑터와 ControlNet 비교

두 어댑터의 기능은 비슷하지만 구현 방식과 활용 측면에서 차이점이 뚜렷합니다:
  1. 경량 설계: T2I 어댑터는 파라미터 수가 적고 메모리 사용량이 더 작습니다.
  2. 추론 속도: T2I 어댑터는 일반적으로 ControlNet보다 약 3배 빠릅니다.
  3. 제어 정밀도: 특정 상황에서는 ControlNet이 더 정밀한 제어를 제공하며, T2I 어댑터는 경량 제어에 더 적합합니다.
  4. 다중 조건 조합: T2I 어댑터는 여러 조건을 결합할 때 자원 효율성이 더욱 두드러집니다.

​
T2I 어댑터의 주요 유형

T2I 어댑터는 다양한 유형을 제공해 각각 다른 측면을 제어합니다:
  • 깊이: 이미지의 공간적 구조와 깊이 관계를 제어합니다.
  • 선화(Canny/Sketch): 이미지의 가장자리와 선을 제어합니다.
  • 키포즈: 캐릭터의 자세와 동작을 제어합니다.
  • 세그멘테이션(Seg): 시맨틱 세그멘테이션을 통해 장면 레이아웃을 제어합니다.
  • 컬러: 이미지의 전체적인 색감을 제어합니다.
ComfyUI에서 T2I 어댑터를 사용하는 방법은 ControlNet과 인터페이스와 작업 흐름이 유사합니다. 이번 예시에서는 깊이 T2I 어댑터를 사용해 실내 장면을 제어하는 방법을 보여드리겠습니다. ComfyUI 깊이 T2I 어댑터 작업 흐름

​
깊이 T2I 어댑터 응용의 가치

깊이 맵은 이미지 생성에 다음과 같은 중요한 응용 분야를 제공합니다:
  1. 공간 레이아웃 제어: 3차원 공간 구조를 정확히 묘사해 인테리어 디자인 및 건축 시각화에 적합합니다.
  2. 객체 위치 제어: 장면 내 객체의 상대적 위치와 크기를 제어해 제품 쇼케이스 및 장면 구성에 적합합니다.
  3. 원근 관계 유지: 합리적인 원근과 비율을 유지해 풍경 및 도시 장면 생성에 적합합니다.
  4. 빛과 그림자 레이아웃: 깊이 정보를 기반으로 자연스러운 빛과 그림자의 분포를 구현해 사실성을 높입니다.
실내 디자인을 예시로 깊이 T2I 어댑터 사용법을 설명하겠지만, 이러한 기술은 다른 상황에도 적용 가능합니다.

​
ComfyUI 깊이 T2I 어댑터 작업 흐름 예시 설명

​
1. 깊이 T2I 어댑터 작업 흐름 자산

아래 작업 흐름 이미지를 다운로드해 ComfyUI로 드래그하여 작업 흐름을 로드해주세요: ComfyUI 작업 흐름 - 깊이 T2I 어댑터
메타데이터에 작업 흐름 JSON이 포함된 이미지는 바로 ComfyUI로 드래그하거나 메뉴 Workflows -> Open (ctrl+o)를 이용해 로드할 수 있습니다.
이 이미지에는 이미 대응 모델의 다운로드 링크가 포함되어 있으며, ComfyUI로 드래그하면 자동으로 다운로드가 시작됩니다.
아래 이미지를 다운로드해 입력 이미지로 사용해주세요: ComfyUI 실내 깊이 맵

​
2. 모델 설치

네트워크 환경상 해당 모델의 자동 다운로드가 성공적으로 이루어지지 않는 경우, 아래 모델을 수동으로 다운로드해 지정된 디렉토리에 배치해주세요:
ComfyUI/
├── models/
│   ├── checkpoints/
│   │   └── interiordesignsuperm_v2.safetensors
│   └── controlnet/
│       └── t2iadapter_depth_sd15v2.pth

​
3. 단계별 작업 흐름 실행

ComfyUI 작업 흐름 - 깊이 T2I 어댑터 흐름 다이어그램
  1. Load Checkpoint가 interiordesignsuperm_v2.safetensors를 로드할 수 있는지 확인하세요.
  2. Load ControlNet가 t2iadapter_depth_sd15v2.pth를 로드할 수 있는지 확인하세요.
  3. Load Image 노드에서 Upload를 클릭해 앞서 제공한 입력 이미지를 업로드하세요.
  4. Queue 버튼을 클릭하거나 단축키 Ctrl(cmd) + Enter를 사용해 이미지 생성을 실행하세요.

​
T2I 어댑터 사용 시 일반적인 팁

​
입력 이미지 품질 최적화

어떤 응용 상황이든, 고품질의 입력 이미지는 T2I 어댑터를 성공적으로 사용하는 핵심입니다:
  1. 적당한 대비: 제어 이미지(예: 깊이 맵, 선화)는 명확한 대비를 갖되 지나치게 극단적이지 않아야 합니다.
  2. 명확한 경계: 주요 구조와 요소 경계가 제어 이미지에서 확실히 구분될 수 있도록 해야 합니다.
  3. 노이즈 제어: 특히 깊이 맵과 선화의 경우 제어 이미지에 과도한 노이즈가 없도록 노력하세요.
  4. 합리적인 레이아웃: 제어 이미지는 합리적인 공간 레이아웃과 요소 분포를 가져야 합니다.

​
T2I 어댑터 사용의 특징

T2I 어댑터의 큰 장점 중 하나는 여러 조건을 쉽게 조합해 복합적인 제어 효과를 얻을 수 있다는 점입니다:
  1. 깊이 + 에지: 공간 레이아웃을 제어하면서 명확한 구조적 경계를 유지해 건축 및 인테리어 디자인에 적합합니다.
  2. 선화 + 컬러: 형태를 제어하면서 색상 계획을 지정해 캐릭터 디자인 및 일러스트레이션에 적합합니다.
  3. 포즈 + 세그멘테이션: 캐릭터의 동작을 제어하면서 장면 영역을 정의해 복잡한 서사적 장면에 적합합니다.
다양한 T2I 어댑터를 혼합하거나, 다른 제어 방식(예: ControlNet, 지역 프롬프트 등)과 결합하면 창작 가능성을 더욱 확장할 수 있습니다. 혼합을 위해서는 ControlNet 혼합에서 설명한 것과 동일한 방식으로 여러 Apply ControlNet 노드를 연결하기만 하면 됩니다.