Los errores de límite de solicitudes («Too Many Requests», «Rate limit reached») se deben a que se alcanza el límite de solicitudes de tu organización, que es el número máximo de solicitudes y tokens que se pueden enviar por minuto. Si se alcanza el límite, la organización no podrá enviar solicitudes correctamente hasta que se restablezca el límite de solicitudes. El mensaje de error tiene este aspecto:
Límite de velocidad alcanzado para gpt-3.5-turbo en la organización org-exampleorgid123 en tokens por min.
Límite: 10000.000000 / min. Actual: 10020.000000 / min. Recomendamos gestionar estos errores con retroceso exponencial. El retroceso exponencial consiste en hacer una pausa breve cuando se produce un error de límite de solicitudes y, después, volver a intentar la solicitud fallida. Si la solicitud sigue sin tener éxito, se aumenta la duración de la pausa y se repite el proceso. Esto continúa hasta que la solicitud tenga éxito o hasta que se alcance un número máximo de reintentos.
Como las solicitudes fallidas cuentan para tu límite por minuto, reenviar una solicitud continuamente no funcionará. Los límites de solicitudes pueden aplicarse en periodos más cortos; por ejemplo, 1 solicitud por segundo para un límite de 60 RPM, lo que significa que ráfagas breves de muchas solicitudes también pueden provocar errores de límite de solicitudes. El retroceso exponencial funciona bien al espaciar las solicitudes para minimizar la frecuencia de estos errores.
En Python, una solución de retroceso exponencial podría tener este aspecto:
from openai import OpenAI, RateLimitError
import backoff
client = OpenAI()
@backoff.on_exception(backoff.expo, RateLimitError)
def completions_with_backoff(**kwargs):
response = client.completions.create(**kwargs)
return response(Ten en cuenta lo siguiente: la biblioteca backoff es una herramienta de terceros. Recomendamos a todos nuestros clientes que actúen con la debida diligencia al validar cualquier código externo para sus proyectos.)
Si al implementar el retroceso exponencial sigues obteniendo este error, puede que necesites aumentar tu nivel de uso. Puedes consultar tus límites de solicitudes actuales y cómo aumentar tu nivel de confianza para incrementar tus límites de solicitudes en la sección de límites de la configuración de tu cuenta.