Wie funktioniert die Batch API?
Der Batch-API-Endpunkt, wie hier dokumentiert, ermöglicht es Nutzer:innen, Anfragen zur asynchronen Stapelverarbeitung zu übermitteln. Wir verarbeiten diese Anfragen innerhalb von 24 Stunden. Die Details jeder Anfrage werden aus einer zuvor hochgeladenen Datei gelesen, und die Antworten werden in eine Ausgabedatei geschrieben. Sie können das Batch-Objekt auf Statusaktualisierungen und Ergebnisse abfragen.
Wie ist die Preisgestaltung für die Batch API?
Jedes Modell wird im Vergleich zu den synchronen APIs mit einem Kostenrabatt von 50 % angeboten. Hier finden Sie weitere Informationen zu unseren API-Preisen.
Welche Modelle kann ich im Batch verarbeiten?
Die Batch API ist für die meisten unserer Modelle allgemein verfügbar, aber nicht für alle. Bitte sehen Sie in der Modellreferenzdokumentation nach, um sicherzustellen, dass das von Ihnen verwendete Modell die Batch API unterstützt.
Was passiert, wenn die API meine Anfrage nicht innerhalb der zugesagten Zeit abschließt?
Unser Ziel ist es, alle Anfragen innerhalb von 24 Stunden zu bearbeiten. Wenn ein Batch abläuft (d. h. wenn er nicht innerhalb des SLA-Zeitfensters abgeschlossen werden konnte), wird die verbleibende Arbeit abgebrochen und bereits abgeschlossene Arbeit zurückgegeben. Entwickelnde werden für bereits abgeschlossene Arbeit belastet.
Wie hoch ist das Limit für die Anzahl der Anfragen, die ich in einem Batch verarbeiten kann?
Embeddings-APIs haben ein Limit von 1 Million gleichzeitig in die Warteschlange eingereihten Anfragen.
Für alle anderen APIs gibt es kein Limit für die Anzahl der Anfragen, die Sie in einem Batch verarbeiten können; jede Nutzungsstufe hat jedoch ein zugehöriges Batch-Ratenlimit. Ihr Batch-Ratenlimit umfasst die maximale Anzahl an Eingabe-Token, die Sie gleichzeitig in die Warteschlange eingereiht haben. Ihre Ratenlimits finden Sie hier.
Kann ich die Zeit ändern, bis ich von der Batch API eine Rückmeldung erhalte?
Unser derzeit festgelegtes Zeitfenster beträgt 24 Stunden. Aktuell können wir diesen Zeitraum nicht ändern.
Wird Streaming in der Batch API unterstützt?
Nein, Streaming wird in der Batch API nicht unterstützt. Batch-Anfragen liefern Ergebnisse über Ausgabedateien statt über gestreamte Antworten zurück.
Werden Bilder in der Batch API unterstützt?
Ja, Bilder werden in der Batch API unterstützt.
Ich habe die Fehlermeldung „The URL provided for this request does not prefix-match the batch endpoint“ erhalten. Was sollte ich tun?
Wenn Sie diesen Fehler erhalten, bedeutet das, dass Ihre URL für den Batch-API-Endpunkt falsch formatiert ist. Bitte sehen Sie in unserer Dokumentation hier nach, um sicherzustellen, dass Sie den Endpunkt korrekt aufrufen.
Zählt die Nutzung der Batch API gegen meine anderen Ratenlimits?
Die Ratenlimits der Batch API sind vollständig von den bestehenden Limits getrennt.
Was passiert, wenn ein Batch abgebrochen wird?
Wenn ein Batch manuell abgebrochen wird, werden alle Ergebnisse zurückgegeben, die bereits abgeschlossen wurden. Entwickelnde werden für bereits abgeschlossene Arbeit belastet.
Was passiert, wenn ein Batch abläuft?
Wenn ein Batch abläuft (d. h. wenn er nicht innerhalb des SLA-Zeitfensters abgeschlossen werden konnte), wird die verbleibende Arbeit abgebrochen und bereits abgeschlossene Arbeit zurückgegeben. Entwickelnde werden für bereits abgeschlossene Arbeit belastet.
Welche Status kann ich bei Batch-Jobs erwarten?
Der Batch-Job kann einen der folgenden Status haben: Validating, Failed, In Progress, Finalizing, Completed, Expired, Cancelling und Cancelled. Wenn Sie API-Statuswerte programmgesteuert prüfen, verwenden Sie die kleingeschriebenen Literale: validating, failed, in_progress, finalizing, completed, expired, cancelling und cancelled.
Validating: Die Validierung der hochgeladenen Datei läuft, bevor der Batch beginnen kann.
Failed: Die Datei hat den Validierungsprozess nicht bestanden.
In Progress: Die Datei wurde erfolgreich validiert und der Batch-Prozess läuft.
Finalizing: Der Batch-Job ist abgeschlossen und die Ergebnisse werden vorbereitet.
Completed: Der Batch-Job ist abgeschlossen und die Ergebnisse sind bereit.
Expired: Der Batch konnte nicht innerhalb des SLA-Zeitfensters abgeschlossen werden.
Cancelling: Der Abbruch des Batch-Jobs wurde eingeleitet.
Cancelled: Der Batch-Job wurde abgebrochen.
Wie kann ich prüfen, welche Batch-Jobs ich bereits erstellt habe?
Sie können eine Liste all Ihrer Batch-Jobs mit dem API-Aufruf abrufen, der hier angegeben ist.
Wird keine Datenaufbewahrung für diesen Endpunkt unterstützt?
Wenn für Ihre Organisation keine Datenaufbewahrung aktiviert ist, beachten Sie bitte, dass keine Datenaufbewahrung nicht für die Batch API gilt. ZDR-Organisationen können Batch-Jobs erstellen, aber Batch-Eingabedateien, Ausgaben, Fehler und Zwischenartefakte werden gemäß den konfigurierten Aufbewahrungsrichtlinien für Batch, File Service und Sediment gespeichert.