SAM 3D Body: ComfyUIでビデオから3D人体メッシュを抽出する

​

SAM 3D Body：ビデオからの3Dヒューマンメッシュ抽出

​

動作の仕組み

1. ビデオ追跡: SAM3がビデオのフレーム全体で人物を追跡します。追跡は、クリップに複数の人物が写っている場合には実質的に必須であり、一般的に検出精度も向上させます
2. 人物検出: RT-DETRがテキストプロンプト（person）に基づいて人物のバウンディングボックスを検出します
3. メッシュ予測: SAM 3D Bodyが追跡されたフレームから全身の3Dメッシュを予測します。オプションのMoGeカメラ視野角（FOV）を使用すると、ソースビデオとの位置合わせをより正確に行えます
4. 表情: MediaPipeベースのステップが表情を追加します。ベースモデルでは表情が検出されないためです
5. スムージング: メッシュシーケンスを時間経過に沿って平滑化します
6. レンダリング: ポーズファイル（GLB）を構築し、メッシュをビデオに再レンダリングして、出力ビデオとして保存します

​

実行手順

1. ビデオを読み込む: LoadVideo ノードを使用して人物のビデオを読み込みます
2. ワークフローをキューに入れる: Ctrl（macOSではCmd）+ Enterキーを押します
3. パイプラインの完了を待つ: トラッキング、検出、メッシュ予測、レンダリングが順番に実行されます
4. 結果を確認する: Preview3D ノードでメッシュを確認します。オーバーレイビデオは ComfyUI/output/video/SAM3D_body/ に保存されます

​

モデルのダウンロード

​

モデルの保存場所

📂 ComfyUI/
├── 📂 models/
│   ├── 📂 checkpoints/
│   │      └── sam3.1_multiplex_fp16.safetensors
│   ├── 📂 detection/
│   │      └── sam_3d_body_dinov3_bf16.safetensors
│   ├── 📂 geometry_estimation/
│   │      └── moge_2_vitl_normal_fp16.safetensors
│   └── 📂 diffusion_models/
│          └── rt_detr_v4-x-hgnet_fp32.safetensors