Een inleiding tot volumelimieten

Volumelimieten zijn beperkingen die onze API oplegt aan het aantal keren dat een gebruiker of client binnen een bepaalde periode toegang tot onze services kan krijgen.

Volumelimieten kunnen worden gekwantiseerd, wat betekent dat ze over kortere perioden worden afgedwongen (bijv. 60.000 verzoeken/minuut kan worden afgedwongen als 1.000 verzoeken/seconde). Het verzenden van korte pieken aan verzoeken of contexten (prompts+max_completion_tokens) die te lang zijn, kan leiden tot volumelimietfouten, zelfs als je technisch gezien onder de volumelimiet per minuut blijft.

Best practices om volumelimietfouten te voorkomen

Standaardorganisatie

Als je tot meerdere organisaties met verschillende factureringsplannen en gebruiksniveaus behoort, zorg er dan voor dat je standaardorganisatie is ingesteld op de juiste organisatie, zodat je bepaalt welke organisatie standaard wordt gebruikt bij het doen van verzoeken met je API-sleutels.

Exponentiële back-off

Neem logica voor exponentiële back-off op in je code. Hiermee worden mislukte verzoeken onderschept en opnieuw geprobeerd.

Tokenlimieten

Verlaag de max_completion_tokens zodat deze overeenkomen met de grootte van je completions. De gebruiksbehoefte wordt op basis van deze waarde geschat, dus door deze te verlagen verklein je de kans dat je onverwacht een volumelimietfout krijgt. Als je prompt bijvoorbeeld completions van ongeveer 400 tokens maakt, moet de waarde max_tokens ongeveer dezelfde grootte hebben.


Optimaliseer je prompts. Je kunt dit doen door je instructies korter te maken, extra woorden te verwijderen en overbodige voorbeelden weg te laten. Mogelijk moet je aan je prompt werken en deze na deze wijzigingen testen om te controleren of hij nog steeds goed werkt. Het bijkomende voordeel van een kortere prompt is dat je kosten lager zijn. Laat het ons weten als je hulp nodig hebt.

Gebruiksniveau

Als je deze best practices hebt geïmplementeerd maar nog steeds volumelimietfouten krijgt, kun je je volumelimieten verhogen door je gebruiksniveau te verhogen. Je kunt je huidige volumelimieten, je huidige gebruiksniveau en hoe je je gebruiksniveau/limieten kunt verhogen bekijken in het gedeelte Limieten van je accountinstellingen.

Verder lezen

Bekijk onze uitgebreide documentatie over gebruiksniveaus en volumelimieten hier.