SAM 3D Body：在 ComfyUI 中从视频提取 3D 人体网格

​

SAM 3D Body：从视频中提取 3D 人体网格

​

工作原理

1. 视频跟踪：SAM3 会在视频帧之间跟踪人物。当片段中出现多个人物时，跟踪实际上是必需的，并且总体上能提高检测精度。
2. 人物检测：RT-DETR 根据文本提示（person）检测人物边界框。
3. 网格预测：SAM 3D Body 根据跟踪帧预测全身 3D 网格，并可选使用 MoGe 相机视场，以便与来源视频更精确地对齐。
4. 面部表情：基于 MediaPipe 的步骤会添加面部表情，而基础模型无法检测到这些表情。
5. 平滑处理：网格序列会随时间进行平滑处理。
6. 渲染：构建姿态文件（GLB），将网格渲染回视频中，然后保存为输出视频。

​

运行步骤

1. 加载视频：使用 LoadVideo 节点加载包含人物的视频
2. 将工作流加入队列：按 Ctrl（macOS 上为 Cmd）+ Enter 键
3. 等待流水线处理：跟踪、检测、网格预测和渲染依次运行
4. 查看结果：在 Preview3D 节点中检查网格。叠加视频保存到 ComfyUI/output/video/SAM3D_body/

​

模型下载

​

模型存储位置

📂 ComfyUI/
├── 📂 models/
│   ├── 📂 checkpoints/
│   │      └── sam3.1_multiplex_fp16.safetensors
│   ├── 📂 detection/
│   │      └── sam_3d_body_dinov3_bf16.safetensors
│   ├── 📂 geometry_estimation/
│   │      └── moge_2_vitl_normal_fp16.safetensors
│   └── 📂 diffusion_models/
│          └── rt_detr_v4-x-hgnet_fp32.safetensors