¿Cómo funciona la API Batch?
El punto de acceso de la API Batch, tal como se documenta aquí, permite a los usuarios enviar solicitudes para el procesamiento por lotes asíncrono. Procesaremos estas solicitudes en un plazo de 24 horas. Los detalles de cada solicitud se leerán de un archivo cargado previamente, y las respuestas se escribirán en un archivo de salida. Puede consultar el objeto batch para obtener actualizaciones de estado y resultados.
¿Cuál es el precio de la API Batch?
Cada modelo se ofrecerá con un 50 % de descuento en comparación con las API síncronas. Aquí tiene más información sobre los precios de nuestra API.
¿Qué modelos puedo procesar por lotes?
La API Batch está disponible de forma generalizada en la mayoría de nuestros modelos, pero no en todos. Consulte la documentación de referencia de modelos para asegurarse de que el modelo que está usando sea compatible con la API Batch.
¿Qué ocurre si la API no completa mi solicitud en el tiempo prometido?
Nuestro objetivo es completar todas las solicitudes en un plazo de 24 horas. Si un lote caduca (es decir, no pudo completarse dentro del plazo de SLA), el trabajo restante se cancela y se devuelve cualquier trabajo ya completado. A los desarrolladores se les cobrará por cualquier trabajo completado.
¿Cuál es el límite de solicitudes que puedo procesar por lotes?
Las API de embeddings tienen un límite de 1 millón de solicitudes en cola al mismo tiempo.
Para todas las demás API, no hay límite en el número de solicitudes que puede procesar por lotes; sin embargo, cada nivel de uso tiene un límite de tasa por lotes asociado. Su límite de tasa por lotes incluye el número máximo de tokens de entrada que tiene en cola al mismo tiempo. Puede consultar sus límites de tasa aquí.
¿Puedo cambiar el tiempo que tarda la API Batch en responder?
Nuestro plazo especificado actual es de 24 horas. Actualmente no podemos cambiar este periodo de tiempo.
¿Se admite streaming en la API Batch?
No, el streaming no se admite en la API Batch. Las solicitudes por lotes devuelven los resultados mediante archivos de salida en lugar de respuestas en streaming.
¿Se admiten imágenes en la API Batch?
Sí, las imágenes se admiten en la API Batch.
He recibido el mensaje de error «The URL provided for this request does not prefix-match the batch endpoint». ¿Qué debo hacer?
Si recibe este error, significa que su URL tiene un formato incorrecto para el punto de acceso de la API Batch. Consulte nuestra documentación aquí para asegurarse de que está llamando al punto de acceso correctamente.
¿El uso de la API Batch cuenta para mis otros límites de tasa?
Los límites de tasa de la API Batch son completamente independientes de los límites existentes.
¿Qué ocurre si se cancela un lote?
Si un lote se cancela manualmente, se devuelven los resultados que ya se hayan completado. A los desarrolladores se les cobrará por cualquier trabajo completado.
¿Qué ocurre si un lote caduca?
Si un lote caduca (es decir, no pudo completarse dentro del plazo de SLA), el trabajo restante se cancela y se devuelve cualquier trabajo ya completado. A los desarrolladores se les cobrará por cualquier trabajo completado.
¿Qué estados puedo esperar en los trabajos por lotes?
El trabajo por lotes puede tener cualquiera de los siguientes estados: Validando, Fallido, En curso, Finalizando, Completado, Caducado, Cancelando y Cancelado. Si está comprobando los valores de estado de la API mediante programación, use los literales en minúsculas: validating, failed, in_progress, finalizing, completed, expired, cancelling y cancelled.
Validando: La validación del archivo cargado está en curso antes de que pueda comenzar el lote.
Fallido: El archivo no ha superado el proceso de validación.
En curso: El archivo se validó correctamente y el proceso por lotes está en marcha.
Finalizando: El trabajo por lotes ha terminado y los resultados se están preparando.
Completado: El trabajo por lotes ha finalizado y los resultados están listos.
Caducado: El lote no pudo completarse dentro del plazo de SLA.
Cancelando: Se ha iniciado la cancelación del trabajo por lotes.
Cancelado: El trabajo por lotes fue cancelado.
¿Cómo puedo comprobar qué trabajos por lotes ya he creado?
Puede obtener una lista de todos sus trabajos por lotes mediante la llamada a la API especificada aquí.
¿Se admite sin retención de datos en este punto de acceso?
Si tiene habilitado sin retención de datos para su organización, tenga en cuenta que sin retención de datos no se aplica a la API Batch. Las organizaciones con ZDR pueden crear trabajos por lotes, pero los archivos de entrada de los lotes, las salidas, los errores y los artefactos intermedios se conservan según las políticas de retención configuradas de Batch, File Service y Sediment.