SAM 3D Body: ComfyUI에서 비디오로부터 3D 인체 메시 추출하기

​

SAM 3D Body: 비디오에서 3D 인간 메시 추출

​

작동 방식

1. 비디오 추적: SAM3가 비디오 프레임 전체에서 인물을 추적합니다. 클립에 여러 명이 등장하는 경우 추적은 사실상 필수이며, 일반적으로 감지 정확도를 향상시킵니다.
2. 인물 감지: RT-DETR이 텍스트 프롬프트(person)를 기반으로 인물의 바운딩 박스를 감지합니다.
3. 메시 예측: SAM 3D Body는 추적된 프레임에서 전신 3D 메시를 예측하며, 선택적으로 MoGe 카메라 시야각을 사용하여 소스 비디오와 더 정확하게 정렬할 수 있습니다.
4. 얼굴 표정: MediaPipe 기반 단계에서 얼굴 표정을 추가합니다. 베이스 모델은 이를 감지하지 못합니다.
5. 스무딩: 메시 시퀀스를 시간에 따라 부드럽게 처리합니다.
6. 렌더링: 포즈 파일(GLB)을 생성하고 메시를 비디오에 다시 렌더링한 다음 출력 비디오로 저장합니다.

​

실행 단계

1. 비디오 로드: LoadVideo 노드를 사용하여 인물 비디오를 로드합니다.
2. 워크플로 실행 대기열에 추가: Ctrl(macOS에서는 Cmd) + Enter를 누릅니다.
3. 파이프라인 대기: 추적, 감지, 메시 예측, 렌더링이 순서대로 실행됩니다.
4. 결과 확인: Preview3D 노드에서 메시를 확인합니다. 오버레이 비디오는 ComfyUI/output/video/SAM3D_body/에 저장됩니다.

​

모델 다운로드

​

모델 저장 위치

📂 ComfyUI/
├── 📂 models/
│   ├── 📂 checkpoints/
│   │      └── sam3.1_multiplex_fp16.safetensors
│   ├── 📂 detection/
│   │      └── sam_3d_body_dinov3_bf16.safetensors
│   ├── 📂 geometry_estimation/
│   │      └── moge_2_vitl_normal_fp16.safetensors
│   └── 📂 diffusion_models/
│          └── rt_detr_v4-x-hgnet_fp32.safetensors