Come funziona l’API Batch?
L’endpoint dell’API Batch, come documentato qui, consente agli utenti di inviare richieste per l’elaborazione asincrona in batch. Elaboreremo queste richieste entro 24 ore. I dettagli di ciascuna richiesta verranno letti da un file caricato in precedenza e le risposte verranno scritte in un file di output. Puoi interrogare l’oggetto batch per aggiornamenti sullo stato e risultati.
Qual è il pricing dell’API Batch?
Ogni modello verrà offerto con uno sconto del 50% sul costo rispetto alle API sincrone. Ecco maggiori informazioni sul pricing della nostra API.
Quali modelli posso usare in batch?
L’API Batch è ampiamente disponibile per la maggior parte dei nostri modelli, ma non per tutti. Consulta la documentazione di riferimento dei modelli per assicurarti che il modello che stai usando supporti l’API Batch.
Cosa succede se l’API non completa la mia richiesta entro il tempo promesso?
Puntiamo a completare tutte le richieste entro 24 ore. Se un batch scade (cioè non può essere completato entro la finestra temporale dell’SLA), il lavoro rimanente viene annullato e viene restituito tutto ciò che è già stato completato. Agli sviluppatori verrà addebitato qualsiasi lavoro completato.
Qual è il limite del numero di richieste che posso inviare in batch?
Le API Embeddings hanno un limite di 1 milione di richieste in coda contemporaneamente.
Per tutte le altre API, non c’è alcun limite al numero di richieste che puoi inviare in batch; tuttavia, ogni livello di utilizzo ha un limite di rate per i batch associato. Il tuo limite di rate per i batch include il numero massimo di token di input che hai messo in coda nello stesso momento. Puoi trovare i tuoi limiti di rate qui.
Posso cambiare il tempo di risposta dell’API Batch?
La finestra temporale attualmente specificata è di 24 ore. Al momento non possiamo modificarla.
Lo streaming è supportato nell’API Batch?
No, lo streaming non è supportato nell’API Batch.
Le immagini sono supportate nell’API Batch?
Sì, le immagini sono supportate nell’API Batch.
Ho ricevuto un messaggio di errore “The URL provided for this request does not prefix-match the batch endpoint”. Cosa devo fare?
Se ricevi questo errore, significa che il tuo URL non è formattato correttamente per l’endpoint dell’API Batch. Consulta la nostra documentazione qui per assicurarti di chiamare correttamente l’endpoint.
L’utilizzo dell’API Batch viene conteggiato rispetto ai miei altri limiti di rate?
I limiti di rate dell’API Batch sono completamente separati dai limiti esistenti.
Cosa succede se un batch viene annullato?
Se un batch viene annullato manualmente, vengono restituiti tutti i risultati già completati. Agli sviluppatori verrà addebitato qualsiasi lavoro completato.
Cosa succede se un batch scade?
Se un batch scade (cioè non può essere completato entro la finestra temporale dell’SLA), il lavoro rimanente viene annullato e viene restituito tutto ciò che è già stato completato. Agli sviluppatori verrà addebitato qualsiasi lavoro completato.
Quali stati posso aspettarmi per i job batch?
Il job batch può avere uno qualsiasi dei seguenti stati:
Validating: La convalida del file caricato è in corso prima che il batch possa iniziare.
Failed: Il file non ha superato il processo di convalida.
In Progress: Il file è stato convalidato correttamente e il processo batch è in corso.
Finalizing: Il job batch è terminato e i risultati sono in fase di preparazione.
Completed: Il job batch è completato e i risultati sono pronti.
Expired: Il batch non ha potuto essere completato entro la finestra temporale dell’SLA.
Canceling: È stato avviato l’annullamento del job batch.
Canceled: Il job batch è stato annullato.
Come posso verificare quali job batch ho già creato?
Puoi ottenere un elenco di tutti i tuoi job batch usando la chiamata API indicata qui.
La zero data retention è supportata su questo endpoint?
Se per la tua organizzazione hai abilitato la zero data retention, tieni presente che la zero data retention non è supportata su questo endpoint.