Como a API Batch funciona?
O endpoint da API Batch, conforme documentado aqui, permite que os usuários enviem solicitações para processamento em lote assíncrono. Processaremos essas solicitações em até 24 horas. Os detalhes de cada solicitação serão lidos de um arquivo previamente enviado, e as respostas serão gravadas em um arquivo de saída. Você pode consultar o objeto de batch para obter atualizações de status e resultados.
Qual é o preço da API Batch?
Cada modelo será oferecido com 50% de desconto no custo em comparação com as APIs síncronas. Veja mais informações sobre os preços da nossa API.
Quais modelos posso usar em batch?
A API Batch está amplamente disponível na maioria dos nossos modelos, mas não em todos. Consulte a documentação de referência de modelos para garantir que o modelo que você está usando oferece suporte à API Batch.
O que acontece se a API não concluir minha solicitação no tempo prometido?
Nosso objetivo é concluir todas as solicitações em até 24 horas. Se um batch expirar (isto é, não puder ser concluído dentro da janela de tempo do SLA), o trabalho restante será cancelado e qualquer trabalho já concluído será retornado. Os desenvolvedores serão cobrados por qualquer trabalho concluído.
Qual é o limite de quantas solicitações posso processar em batch?
As APIs de Embeddings têm um limite de 1 milhão de solicitações enfileiradas por vez.
Para todas as outras APIs, não há limite para o número de solicitações que você pode processar em batch; no entanto, cada nível de uso tem um limite de taxa (rate limit) de batch associado. Seu limite de taxa de batch inclui o número máximo de tokens de entrada que você tem enfileirados ao mesmo tempo. Você pode encontrar seus limites de taxa aqui.
Posso alterar o tempo de resposta da API Batch?
Nossa janela de tempo especificada atualmente é de 24 horas. No momento, não podemos alterar esse período.
Há suporte a streaming na API Batch?
Não, streaming não é suportado na API Batch.
Há suporte a imagens na API Batch?
Sim, imagens são suportadas na API Batch.
Recebi a mensagem de erro “The URL provided for this request does not prefix-match the batch endpoint”. O que devo fazer?
Se você receber esse erro, isso significa que sua URL está formatada incorretamente para o endpoint da API Batch. Consulte nossa documentação aqui para garantir que você está chamando o endpoint corretamente.
O uso da API Batch conta para meus outros limites de taxa?
Os limites de taxa da API Batch são totalmente separados dos limites existentes.
O que acontece se um batch for cancelado?
Se um batch for cancelado manualmente, quaisquer resultados já concluídos serão retornados. Os desenvolvedores serão cobrados por qualquer trabalho concluído.
O que acontece se um batch expirar?
Se um batch expirar (isto é, não puder ser concluído dentro da janela de tempo do SLA), o trabalho restante será cancelado e qualquer trabalho já concluído será retornado. Os desenvolvedores serão cobrados por qualquer trabalho concluído.
Quais status posso esperar em jobs de batch?
O job de batch pode ter qualquer um dos seguintes status:
Validating: A validação do arquivo enviado está em andamento antes que o batch possa começar.
Failed: O arquivo falhou no processo de validação.
In Progress: O arquivo foi validado com sucesso e o processamento em batch está em andamento.
Finalizing: O job de batch foi concluído e os resultados estão sendo preparados.
Completed: O job de batch foi concluído e os resultados estão prontos.
Expired: O batch não pôde ser concluído dentro da janela de tempo do SLA.
Canceling: O cancelamento do job de batch foi iniciado.
Canceled: O job de batch foi cancelado.
Como posso verificar quais jobs de batch eu já criei?
Você pode obter uma lista de todos os seus jobs de batch usando a chamada de API especificada aqui.
Este endpoint oferece suporte a zero data retention?
Se você tiver zero data retention habilitado para a sua organização, observe que zero data retention não é suportado neste endpoint.