gemini-interactions/gemini-omni-1.1-flash, servida por Comfy Router desde Gemini Interactions.
Entrada: Texto, Imagen, Audio, Video · Salida: Texto + Imagen + Audio
Inicio rápido
Crea una clave en tu espacio de trabajo de Comfy y expórtala comoCOMFY_API_KEY. Los fragmentos de Python y TypeScript usan los SDK de Comfy (pip install comfy-sdk y npm install @comfyorg/sdk); el fragmento de cURL es la misma llamada por HTTP directo.
ID del modelo: gemini-interactions/gemini-omni-1.1-flash
Endpoint: POST https://api.comfy.org/v2/models/gemini-interactions/gemini-omni-1.1-flash
- Esperar el resultado
- Encolar y recoger más tarde
El mismo cuerpo, enviado a
POST https://api.comfy.org/v2/models/gemini-interactions/gemini-omni-1.1-flash/requests. El Router responde 201 con un request_id en cuanto se admite la ejecución, y el resultado se recoge cuando está listo, desde este proceso o desde otro. Entrega en cola explica el estado, la cancelación y la recogida.Esquema
Entrada
object
requerido
Ya sea una cadena de prompt o un arreglo de partes de contenido tipadas (texto, imagen, audio, video, documento).
string
Identificador del modelo Gemini:
gemini-omni-1.1-flash (disponible de forma general) o el obsoleto gemini-omni-flash-preview. En la ruta POST /v2/models/gemini-interactions/{model} de Comfy Router se toma de la ruta y puedes omitirlo. Esas dos grafías (el conjunto al que Comfy Router se dirige como gemini-interactions/<model>) son las que atiende esta operación (supportedGeminiInteractionModels); se escriben aquí en lugar de restringirse a un enum, porque el proxy valida el modelo por sí mismo y responde con su propio 400 a una grafía que no atiende.string
ID de una interacción almacenada previa, que habilita la edición de video de varios turnos con estado.
GET /v2/models/gemini-interactions/gemini-omni-1.1-flash/openapi.json, el mismo documento contra el que valida una llamada antes de que la solicitud llegue al proveedor.
Salida
string
string
string
string
requerido
Siempre
completed en una respuesta de Router. Los demás estados del proveedor (in_progress, requires_action, failed, cancelled, incomplete, budget_exceeded) no llegan al llamador a través de Router como un 200; se devuelven como un error de Comfy Router que incluye el cuerpo del proveedor.Valores posibles: completedobject[]
requerido
La línea de tiempo de la interacción, en orden. Aquí se reduce desde el
steps sin tipo de GeminiInteraction para que la hoja de salida sea direccionable; el proveedor sigue agregando tipos de paso, así que un elemento es additionalProperties: true y solo se declaran los campos que lee un llamador de Router.object[]
Los bloques de contenido tipados de este paso.
string
Medio en línea codificado en Base64, en un bloque de medios entregado en línea. Google limita los medios en línea a 4 MB y exige
delivery: uri por encima de ese tamaño.string
Tipo de medio de
data o uri, en un bloque de medios.string
El texto generado. Está presente en un bloque
text, y esta es la hoja que verifica el caso nocturno del SDK de Router, concretamente en un paso model_output (steps[type=model_output].content[].text).string
Tipo de bloque:
text, image, audio, video o document.string
Referencia a medios entregados por otra vía, que el llamador obtiene desde el URI que indica.
string
Tipo de paso.
model_output es la respuesta generada; user_input es el turno del propio llamador devuelto por la ruta de recuperación; thought es razonamiento interno. Los pasos de herramienta (function_call, function_result, code_execution_call, google_search_call, …) son abiertos y Google los amplía.object
Uso de tokens de una interacción de Gemini.
object[]
Recuento de tokens de una modalidad.
string
Uno de
text, image, audio, video, document.integer
object[]
Recuento de tokens de una modalidad.
string
Uno de
text, image, audio, video, document.integer
integer
integer
integer
integer
integer
Ejemplos
Entrada
Salida
Antes de lanzar
Los SDK crean unaIdempotency-Key y la reutilizan para los reintentos automáticos. Para los reintentos manuales, reutiliza la clave original. Router puede mantener la conexión abierta hasta 10 minutos.
Cuando una solicitud falla, Router envía un encabezado de respuesta X-Comfy-Error-Type que explica el motivo. Un 422 significa que Router rechazó la entrada antes de llamar al proveedor, y un 413 significa que el cuerpo de la solicitud era más grande de lo que Router acepta. Descarga los recursos generados de inmediato, porque las URL de resultados pueden caducar.
Cualquier límite de tamaño mencionado en la descripción de un campo más arriba es el límite propio del proveedor para ese campo, citado de la especificación del proveedor. Router aplica un tope aparte al cuerpo completo de la solicitud, con el que cuentan los medios codificados en base64: consulta tamaño del cuerpo de la solicitud.
Esta página documenta un modelo socio al que se llama a través de Comfy Router. El mismo paquete comfy-sdk / @comfyorg/sdk también incluye un segundo cliente, para ejecutar todo un gráfico de flujo de trabajo de ComfyUI en Comfy Cloud: Comfy(api_key=...) / new Comfy({ apiKey }), con client.workflows, client.assets y client.jobs. Consulta SDK de Comfy.
Encabezados
Autenticación, idempotencia, IDs de solicitud, agrupaciones de errores, ritmo de reintentos y límites de gasto.
Uso de la API de Router
Descubrimiento de modelos, errores de validación, reintentos y facturación.
Limitaciones
Lo que Router no hace hoy y qué usar en su lugar.