We bieden nu Priority-verwerking aan voor Enterprise API-klanten die toegang willen tot snellere, consistentere prestaties op bepaalde modellen. Hieronder vind je antwoorden op veelgestelde vragen over hoe het werkt, prijzen, modelbeschikbaarheid, volumelimieten, betrouwbaarheid, beleid en geschiktheid.

Lees hier meer.

Toegang

Wie heeft toegang tot Priority-verwerking?

Priority-verwerking is momenteel beschikbaar voor Enterprise-klanten.

Is Priority-verwerking in alle regio’s beschikbaar?

De beschikbaarheid van Priority-verwerking hangt af van de toepasselijke wet- en regelgeving in elk rechtsgebied. Neem contact op met je accountdirector als je vragen hebt over beschikbaarheid in je regio.

Prijzen

Hoe begin ik met het gebruik van Priority-verwerking?

Klanten kunnen verkeer per verzoek naar Priority-verwerking sturen met de bestaande parameter service_tier, met de optie service_tier="priority".

Hoe werkt dit samen met schaalniveau?

Schaalniveau blijft gescheiden van Priority-verwerking. Verzoeken die naar Priority-verwerking worden gestuurd, worden afzonderlijk gefactureerd en tellen niet mee voor je aangeschafte TPM-bundels op schaalniveau.

Kan ik mijn overloopverkeer van schaalniveau automatisch naar Priority-verwerking sturen?

Nee. Verkeer dat naar schaalniveau wordt gestuurd, loopt niet automatisch over naar Priority-verwerking.

Hoe wordt Priority-verwerking gefactureerd?

Tokens die via Priority-verwerking worden verwerkt, worden per token gefactureerd tegen een meerprijs ten opzichte van de tarieven voor Standard-verwerking.

Is mijn jaarlijkse toezegging gekoppeld aan een specifieke verwerkingsmodus?

Nee. Alle verwerkingsmodi tellen mee voor je jaarlijkse Enterprise-bestedingsverplichting.

Krijg ik nog steeds korting op tokens voor gecachte invoer?

Ja! Gecachte invoer krijgt dezelfde korting van 50-75% als bij Standard-verwerking.

Hoe bekijk ik mijn gebruik en uitgaven voor Priority-verwerking?

Ga naar het gebruiksdashboard, selecteer Chat Completions of Responses en Groeperen op serviceniveau om tokens te bekijken die door Priority-verwerking zijn verwerkt. Ga naar het gebruiksdashboard en selecteer Groeperen op regelitem om de kosten van Priority-verwerking te bekijken.

Modellen

Is Priority-verwerking beschikbaar voor lange context, gefinetunede modellen, embeddings, enz.?

Op dit moment niet. We evalueren in de toekomst of we Priority-verwerking willen aanbieden voor aanvullende producten naast onze nieuwste modellen.

Hoe werken andere modaliteiten met Priority-verwerking?

Priority-verwerking ondersteunt dezelfde multimodale mogelijkheden die beschikbaar zijn op Standard. Met name afbeeldingen kunnen worden gebruikt als invoer voor Priority-verwerking en worden verwerkt met dezelfde lage latency.

Worden toekomstige modellen ondersteund?

We zijn van plan Priority-verwerking aan te bieden voor nieuwe GPT-modellen, maar we garanderen niet dat elk model wordt ondersteund.

Volumelimieten

Wat zijn de volumelimieten?

Verbruik via Priority-verwerking wordt voor volumelimieten hetzelfde behandeld als standaard API-verkeer.

Wat zijn de opschalingsvolumelimieten?

Priority-verwerking heeft opschalingsvolumelimieten om consistent hoge prestaties voor alle klanten te waarborgen, terwijl er toch flexibele prijzen op aanvraag worden geboden. Als (a) de prestaties van Priority-verwerking afnemen EN (b) het verkeer van een klant te snel opschaalt, kunnen sommige Priority-verzoeken in zeldzame gevallen worden gedowngraded naar Standard-verwerking.

De huidige opschalingsvolumelimiet voor Priority-verwerking wordt in onze primaire documentatie hier gedefinieerd.

Best practices om binnen je opschalingsvolumelimiet te blijven

• Verhoog het verkeer geleidelijk wanneer je van model wisselt. Als je toepassing bijvoorbeeld overgaat van een eerdere snapshot naar een nieuwe, gebruik dan een featureflag om het verkeer in de loop van enkele uren over te zetten in plaats van in één keer.

• Vermijd het uitvoeren van grote gegevensverwerkings- of asynchrone taken via Priority-verwerking. Deze taken kunnen het verkeer zeer snel opschalen en hebben vaak de verbeterde prestaties van Priority-verwerking niet nodig.

• Als je regelmatig opschalingsvolumelimieten tegenkomt, overweeg dan om in plaats daarvan quotum op schaalniveau te kopen.

Worden opschalingsvolumelimieten gedeeld tussen mijn projecten of organisaties?

Ja, al je verkeer draagt bij aan dezelfde opschalingsvolumelimiet.

Beleid

Wat gebeurt er als Priority-verwerking de latencydoelstelling niet haalt?

Neem bij vragen of zorgen contact op met je AD. SLA’s voor Priority-verwerking worden hetzelfde behandeld als SLA’s voor schaalniveau; servicecredits worden aangeboden als we die SLA’s voor klanten met Enterprise-overeenkomsten tijdens een bepaalde periode niet halen.

Is Priority-verwerking compatibel met gegevensresidentie?

Ja.

Is Priority-verwerking compatibel met ZDR en de BAA?

Ja.