Gli errori di limite di richieste ('Troppe richieste', ‘Limite di richieste raggiunto’) sono causati dal raggiungimento del tuo limite di richieste dell'organizzazione, ovvero il numero massimo di richieste e token che possono essere inviati al minuto. Se il limite viene raggiunto, l'organizzazione non può inviare richieste con successo finché il limite di richieste non viene reimpostato. Il messaggio di errore appare così:
Limite di richieste raggiunto per gpt-3.5-turbo nell'organizzazione org-exampleorgid123 per i token al minuto.
Limite: 10000.000000 / min. Attuale: 10020.000000 / min. Ti consigliamo di gestire questi errori usando il backoff esponenziale. Il backoff esponenziale consiste nell'attendere brevemente quando si verifica un errore di limite di richieste, quindi riprovare la richiesta non riuscita. Se la richiesta continua a non andare a buon fine, il tempo di attesa aumenta e il processo si ripete. Questo continua finché la richiesta non ha successo o finché non viene raggiunto un numero massimo di tentativi.
Poiché le richieste non riuscite contribuiscono al tuo limite per minuto, reinviare continuamente una richiesta non funzionerà. I limiti di richieste possono essere applicati su periodi più brevi, ad esempio 1 richiesta al secondo per un limite di 60 RPM: questo significa che anche brevi picchi di richieste ad alto volume possono causare errori di limite di richieste. Il backoff esponenziale funziona bene perché distanzia le richieste per ridurre al minimo la frequenza di questi errori.
In Python, una soluzione di backoff esponenziale potrebbe essere così:
from openai import OpenAI, RateLimitError
import backoff
client = OpenAI()
@backoff.on_exception(backoff.expo, RateLimitError)
def completions_with_backoff(**kwargs):
response = client.completions.create(**kwargs)
return response(Nota: la libreria backoff è uno strumento di terze parti. Invitiamo tutti i nostri clienti a svolgere le dovute verifiche quando si tratta di convalidare codice esterno per i propri progetti.)
Se l'implementazione del backoff esponenziale continua a causare questo errore, potresti dover aumentare il tuo livello di utilizzo. Puoi vedere i tuoi attuali limiti di richieste e come aumentare il tuo livello di affidabilità per aumentare i limiti di richieste nella sezione limiti delle impostazioni del tuo account.