Mirelo SFX 2.0：ComfyUI でビデオから SFX、テキストから SFX

Mirelo SFX 2.0 はサウンドエフェクトを生成します。動作には2つの方向があります。クリップを解析し、画面上で起きていることに合わせてタイミングを取ったフォーリーを生成するか、サウンドのテキスト説明を受け取ってゼロから構築します。 ComfyUI では、このモデルは2つのパートナーノードを通じて実行されます。Mirelo Video to SFX はクリップを受け取り、ミックス済みのサウンドトラックに加えて、ダイアログを専用の出力として返します。Mirelo Text to SFX はプロンプトと再生時間を受け取り、1つのオーディオクリップを返します。どちらもクラウドAPIノードです。クレジットのある Comfy アカウントが必要で、モデルファイルをローカルにダウンロードしません。 出力は 48 kHz のオーディオです。ビデオの実行は 1〜600 秒、テキストから SFX の生成は 0.1〜600 秒に対応します。Video to SFX は送信したクリップの長さ、Text to SFX は設定した長さに応じて課金されます。

​

利用可能なワークフロー

​

ビデオからSFX

完成したカットにサウンドを加えます。モデルは映像を読み取り、各サウンドをフレーム内のアクションに合わせてタイミング調整するため、足音、衝撃音、環境音が推測されたタイムラインではなく動きに合わせて配置されます。 入力マテリアル このノードには 2 つのオーディオ出力があります。audio は完成したミックスを出力し、speech は生成されたエフェクトから分離されたダイアログを出力します。クリップに音声がない場合、speech 出力は無音になります。

​

テキストからSFX

説明からサウンドを構築します。入力はプロンプトと再生時間のみなので、録音できないサウンドやエフェクトライブラリを埋めるためのモードです。 プロンプトの例

• Heavy rain on a tin roof with distant thunder
• Soft footsteps on wood floor in a small quiet room
• Sharp knife chop on a wooden cutting board, close mic
• Metal door slam in a concrete hallway with short echo

​

ノードのコントロール

​

プロンプトのヒント

• ストーリーではなくサウンドを名指しする。 ソース、マテリアル、空間、強度を1行にまとめます：boots on gravel, metal settling, soft cavern wind。耳で聞き取れる具体的な名詞は、抽象的な雰囲気の言葉に勝ります。
• Video to SFX は空のプロンプトから始める。 映像がすでにタイミングを担っています。画面外のサウンド、たとえば distant church bells, a dog barking two streets away を加えたいときや、単一のレイヤーを押し出したいときだけ1行追加します。
• ネガティブプロンプトでレイヤーを削る。 music, wind, crowd は AI 生成のクリップから音楽を除去します。セリフを残したいときは、speech をネガティブリストに入れないでください。
• 再生時間を出来事に合わせる。 単発の衝撃音に30秒の雨は必要ありません。
• いくつかのバリエーションを試聴する。 別のシードで再実行し、一度に1つの要素だけを変えます。まずマテリアル、次に空間、最後に強度です。

​

はじめる

1. ComfyUIを最新バージョンにアップデートする
2. テンプレートライブラリに移動し、Mirelo を検索する