ComfyUI で Fish Audio を使う
Fish Audio partner nodes は、ノードメニューのpartner/audio/Fish Audio カテゴリにあります。4 つのノードがワークフローをカバーします:
- Fish Audio Text to Speech:テキストを音声に変換します。出力は
AUDIO - Fish Audio Speech to Text:音声をテキストに書き起こします。出力は
text、language_code、segments_json - Fish Audio Voice Selector:プリセット音声から選ぶか、
customで任意の fish.audio 音声モデルを入力します(https://fish.audio/m/<id>/の ID)。出力はvoice - Fish Audio Instant Voice Clone:録音から非公開のクローン音声を作成します。出力は
voice
モデルの選択
Text to Speech ノードのmodel パラメータには 2 つの選択肢があります:
s2.1-pro(推奨):0〜5 の拡張可能な音声入力で多話者に対応s1(legacy):単一のオプション音声入力を受け付け、プロンプトガイドで説明する丸括弧の感情タグ構文を使用
音声の接続
Voice Selector または Instant Voice Clone のvoice 出力を Text to Speech ノードに接続します。入力名はモデルによって異なります:s2.1-pro(推奨)は拡張可能な voices 入力(最大 5 スロット)、s1 は単一のオプション voice 入力を持ちます。音声が 1 つだけの場合、ノードは内部的に reference_id として渡します。2 つ以上接続する場合は、テキストで @Voice1、@Voice2 のように話者をマークし、接続したすべての音声がテキストに少なくとも 1 回登場する必要があります。詳細はプロンプトガイドの多話者対話を参照してください。
クローンの制限
Instant Voice Clone ノードは 1〜20 本の録音を受け付け、1 本あたり 10〜30 秒を推奨し、合計時間が 270 秒未満であることをハード的に検証します。enhance_audio_quality オプションはデフォルトで有効です。録音のコツはプロンプトガイドのボイスクローンの品質を参照してください。
アカウントと価格
これらのノードは ComfyUI アカウントへのサインインが必要で、利用量に応じて課金されます。ノードに表示される参考価格:テキストから音声は約 0.00858 / 分、ボイスクローンは無料です。利用可能なワークフロー
3 つのテンプレートが Fish Audio の主要フローをカバーします:テキストから音声、ボイスクローンから音声、音声からテキスト。ComfyUI のテンプレートライブラリから開くか、Comfy Cloud で直接実行できます。ボイスクローンと音声からテキストのテンプレートには ComfyUI 0.34.0 以降が必要です。Fish Audio: テキストから音声
プリセット音声でセリフから音声を生成します。プロンプトガイドのインラインタグをテキストに書き込み、Voice Selector で別のプリセットを選ぶか、クローン音声を接続してください。
Comfy Cloudで実行
Comfy Cloudで開く
ワークフローをダウンロード
JSONをダウンロード、またはテンプレートライブラリで「Fish Audio: Text to Speech」を検索
LoadAudioノードにアップロードしてください:
fish_audio_example.mp3
LoadAudio ノード11 · fish_audio_example.mp3Fish Audio: ボイスクローンから音声
短い録音から声をクローンし、その声に任意のセリフを話させます。15〜20 秒のクリップを 2〜3 本録音し、LoadAudio ノードからアップロードする(または RecordAudio ノードで直接録音する)か、Instant Voice Clone の出力を Text to Speech ノードに接続してください。録音のコツはプロンプトガイドのボイスクローンの品質を参照してください。
Comfy Cloudで実行
Comfy Cloudで開く
ワークフローをダウンロード
JSONをダウンロード、またはテンプレートライブラリで「Fish Audio: Voice Clone to Speech」を検索
LoadAudioノードにアップロードしてください:
api_fishaudio_voice_clone_tts_fish_audio_example.mp3
LoadAudio ノード11 · api_fishaudio_voice_clone_tts_fish_audio_example.mp3Fish Audio: 音声からテキスト
オーディオクリップをテキストに書き起こします。80 以上の言語を自動判別し、precise_timestamps を有効にするとセグメントごとの開始・終了時刻が JSON で返されるため、字幕作成に便利です。
Comfy Cloudで実行
Comfy Cloudで開く
ワークフローをダウンロード
JSONをダウンロード、またはテンプレートライブラリで「Fish Audio: Speech to Text」を検索
LoadAudioノードにアップロードしてください:
fish_audio_example.mp3
LoadAudio ノード11 · fish_audio_example.mp3はじめに
- ComfyUI を最新版に更新します
- 上のワークフローテンプレートを開くか、ノードメニューの
partner/audio/Fish Audioカテゴリから Fish Audio ノードを追加します - 表示されたら ComfyUI アカウントにサインインします
- プロンプトガイドのインラインタグを使ってセリフを書きます
- ワークフローを実行し、音声をプレビューまたは保存します