Un’introduzione ai limiti di velocità
I limiti di velocità sono restrizioni che la nostra API impone al numero di volte in cui un utente o un client può accedere ai nostri servizi entro un determinato periodo di tempo.
I limiti di velocità possono essere quantizzati, cioè applicati su periodi di tempo più brevi (ad es. 60.000 richieste/minuto possono essere applicate come 1.000 richieste/secondo). L’invio di brevi raffiche di richieste o di contesti (prompt+max_completion_tokens) troppo lunghi può causare errori di limite di velocità, anche quando tecnicamente sei al di sotto del limite al minuto.
Best practice per prevenire gli errori di limite di velocità
Organizzazione predefinita
Se appartieni a più organizzazioni con piani di fatturazione e livelli di utilizzo diversi, assicurati che la tua organizzazione predefinita sia impostata sull’organizzazione appropriata, così da controllare quale organizzazione viene usata per impostazione predefinita quando effettui richieste con le tue chiavi API.
Backoff esponenziale
Includi una logica di backoff esponenziale nel tuo codice. In questo modo intercetterai e ritenterai le richieste non riuscite.
Limiti di token
Riduci il valore di max_completion_tokens in modo che corrisponda alla dimensione delle tue completions. Le esigenze di utilizzo vengono stimate a partire da questo valore, quindi ridurlo diminuirà la probabilità di ricevere inaspettatamente un errore di limite di velocità. Ad esempio, se il tuo prompt genera completions di circa 400 token, il valore max_tokens dovrebbe essere più o meno della stessa dimensione.
Ottimizza i tuoi prompt. Puoi farlo rendendo le istruzioni più brevi, rimuovendo parole superflue ed eliminando esempi non necessari. Potresti dover rielaborare il tuo prompt e testarlo dopo queste modifiche per assicurarti che funzioni ancora bene. Un ulteriore vantaggio di un prompt più breve è la riduzione dei costi. Se hai bisogno di aiuto, faccelo sapere.
Livello di utilizzo
Se hai implementato queste best practice ma continui a riscontrare errori di limite di velocità, puoi aumentare i tuoi limiti di velocità aumentando il tuo livello di utilizzo. Puoi visualizzare i tuoi limiti di velocità attuali, il tuo livello di utilizzo attuale e come aumentare il tuo livello/limiti di utilizzo nella sezione Limiti delle impostazioni del tuo account.
Approfondimenti
Consulta la nostra documentazione completa sui livelli di utilizzo e i limiti di velocità qui.