gemini-interactions/gemini-omni-1.2-flash のAPIリファレンスです。Comfy Router が Gemini Interactions から提供します。
入力: テキスト、画像、オーディオ、ビデオ · 出力: テキスト + ビデオ
クイックスタート
Comfy ワークスペースでキーを作成し、COMFY_API_KEY としてエクスポートします。Python と TypeScript のスニペットは Comfy SDK(pip install comfy-sdk と npm install @comfyorg/sdk)を使用し、cURL スニペットは同じ呼び出しを生の HTTP で行うものです。
モデル ID: gemini-interactions/gemini-omni-1.2-flash
エンドポイント: POST https://api.comfy.org/v2/models/gemini-interactions/gemini-omni-1.2-flash
- 結果を待つ
- キューに送信して後で取得する
同じボディを
POST https://api.comfy.org/v2/models/gemini-interactions/gemini-omni-1.2-flash/requests に送信します。Router は実行が受け付けられるとすぐに request_id とともに 201 を返し、結果は準備ができ次第、このプロセスからでも別のプロセスからでも取得できます。キューの配信では、ステータス、キャンセル、取得の流れを説明します。スキーマ
入力
object
必須
プロンプト文字列、または型付きコンテンツパーツ(テキスト、画像、オーディオ、ビデオ、ドキュメント)の配列のいずれか。
string
Gemini モデル識別子:
gemini-omni-1.2-flash または gemini-omni-1.1-flash(一般提供)、あるいは非推奨の gemini-omni-flash-preview。Comfy Router のルート POST /v2/models/gemini-interactions/{model} ではパスから供給されるため、省略できます。これら 3 つの表記(Comfy Router が gemini-interactions/<model> として扱うセット)が、この操作が提供する対象です(supportedGeminiInteractionModels)。ここで enum に制約せずに列挙しているのは、プロキシ自身がモデルを検証し、提供しない表記に対して独自の 400 を返すためです。string
以前に保存されたインタラクションの ID。ステートフルなマルチターンのビデオ編集を可能にします。
GET /v2/models/gemini-interactions/gemini-omni-1.2-flash/openapi.json で Router が提供するスキーマから生成されたもので、リクエストがプロバイダーに到達する前に Router が呼び出しを検証する際に使うのと同じドキュメントです。
出力
string
string
string
string
必須
Router のレスポンスでは常に
completed です。プロバイダーの他のステータス(in_progress、requires_action、failed、cancelled、incomplete、budget_exceeded)が Router 経由で 200 として呼び出し元に届くことはありません。これらはプロバイダーのボディを伴う Comfy Router エラーとして返されます。取りうる値: completedobject[]
必須
インタラクションのタイムラインを順序どおりに示します。ここでは
GeminiInteraction の型なしの steps から絞り込み、出力のリーフを参照できるようにしています。プロバイダーはステップ種別を追加し続けるため、各項目は additionalProperties: true であり、Router の呼び出し元が読むフィールドのみを宣言しています。object[]
このステップの型付きコンテンツブロック。
string
インラインで配信されるメディアブロックにおける、Base64 エンコードされたインラインメディア。Google はインラインメディアを 4 MB に制限しており、それを超える場合は
delivery: uri が必要です。string
メディアブロックにおける
data または uri のメディアタイプ。string
生成されたテキスト。
text ブロックに存在し、ナイトリーの Router SDK ケースがアサートするリーフはこれです(model_output ステップ、具体的には steps[type=model_output].content[].text)。string
ブロック種別:
text、image、audio、video、document。string
帯域外で配信されるメディアへの参照。呼び出し元が示された URI から取得します。
string
ステップ種別。
model_output は生成された回答、user_input は取得ルートがエコーバックする呼び出し元自身のターン、thought は内部推論です。ツール系のステップ(function_call、function_result、code_execution_call、google_search_call など)は開放型で、Google が随時追加します。object
Gemini インタラクションのトークン使用量。
object[]
1 つのモダリティのトークン数。
string
text、image、audio、video、document のいずれか。integer
object[]
1 つのモダリティのトークン数。
string
text、image、audio、video、document のいずれか。integer
integer
integer
integer
integer
integer
例
入力
出力
出荷前の確認
SDK はIdempotency-Key を生成し、自動リトライで再利用します。手動リトライでは元のキーを再利用してください。Router は最大 10 分間接続を保持できます。
リクエストが失敗すると、Router は理由を説明する X-Comfy-Error-Type レスポンスヘッダーを送信します。422 は、プロバイダーを呼び出す前に Router が入力を拒否したことを意味し、413 はリクエスト本文が Router の受け入れ可能なサイズを超えていたことを意味します。生成されたアセットは 結果 URL の有効期限 があるため、早めにダウンロードしてください。
上記のフィールド説明に記載されているサイズ制限は、プロバイダーの仕様から引用した、そのフィールドに対するプロバイダー自身の上限です。Router はリクエスト本文全体に対して別の上限を適用し、base64 エンコードされたメディアもこれにカウントされます。リクエスト本文のサイズ を参照してください。
このページは、Comfy Router 経由で呼び出す 1 つのパートナーモデルについて説明しています。同じ comfy-sdk / @comfyorg/sdk パッケージには、Comfy Cloud 上で ComfyUI のワークフローグラフ全体を実行するための 2 つ目のクライアントも含まれています: Comfy(api_key=...) / new Comfy({ apiKey })、および client.workflows、client.assets、client.jobs。Comfy SDKs を参照してください。
ヘッダー
認証、冪等性、リクエスト ID、エラー分類、リトライ間隔、支出上限。
Router API の利用
モデルの検出、バリデーションエラー、リトライ、課金。
制限事項
Router が現在対応していないことと、代替手段。