작동 방식

고객은 기존 service_tier 매개변수에서 service_tier = "fast" 옵션을 사용하여 요청별로 트래픽을 패스트 모드로 보낼 수 있습니다.

패스트 모드로 처리된 토큰에는 토큰당 요금이 청구되며, Standard 처리 요금보다 높은 가격이 적용됩니다.

요청 수준에서 설정하는 것 외에도 Project settings > Default Service Tier: Fast에서 프로젝트의 기본값을 패스트 모드로 설정할 수 있습니다. 요청별로 기본 설정을 재정의할 수도 있습니다. 프로젝트 설정에서 Fast를 선택하는 것은 Priority를 선택하는 것과 같습니다.

패스트 모드는 스케일 등급과 어떻게 연동되나요?

스케일 등급은 패스트 모드와 별도로 유지됩니다. 패스트 모드로 전송된 요청은 별도로 청구되며, 구매한 스케일 등급 TPM 번들 사용량에 포함되지 않습니다.

스케일 등급의 초과 트래픽을 패스트 모드로 자동 전송할 수 있나요?

아니요. 스케일 등급으로 전송된 트래픽은 패스트 모드로 자동 전환되지 않습니다.

패스트 모드의 요금은 어떻게 청구되나요?

패스트 모드로 처리된 토큰에는 토큰당 요금이 청구되며, Standard 처리 요금보다 높은 가격이 적용됩니다.

연간 약정이 특정 처리 모드에 연계되나요?

아니요. 모든 처리 모드의 비용이 연간 Enterprise 지출 약정에 포함됩니다.

캐시된 입력 토큰에도 할인이 계속 적용되나요?

네! 캐시된 입력에는 Standard 처리와 동일하게 50~75% 할인이 적용됩니다.

패스트 모드의 사용량과 지출은 어떻게 확인하나요?

패스트 모드(이전 명칭: Priority processing)로 처리된 토큰을 확인하려면 Usage 대시보드에서 Chat Completions 또는 Responses를 선택한 다음 Service Tier를 기준으로 그룹화하세요.

패스트 모드 비용을 확인하려면 Usage 대시보드에서 Line Item을 기준으로 그룹화하세요.

Usage 대시보드에서는 service_tier로 priority 또는 fast를 사용하는 요청이 계속 priority로 표시됩니다. 향후 모델에서는 이 표시가 업데이트될 예정입니다.

모델

패스트 모드를 긴 컨텍스트, 미세 조정된 모델, 임베딩 등에도 사용할 수 있나요?

현재는 지원되지 않습니다. 향후 최신 모델 외의 제품에도 패스트 모드를 제공할지 검토할 예정입니다.

패스트 모드에서 다른 모달리티는 어떻게 작동하나요?

패스트 모드는 Standard에서 제공되는 것과 동일한 멀티모달 기능을 지원합니다. 특히 이미지를 Priority processing의 입력으로 사용할 수 있으며, 동일하게 빠른 지연 시간으로 처리됩니다.

향후 모델도 지원되나요?

새로운 GPT 모델에 패스트 모드를 제공할 계획이지만, 모든 모델의 지원을 보장하지는 않습니다.

요청 한도

요청 한도는 어떻게 되나요?

요청 한도를 적용할 때 Priority processing 사용량은 일반 API 트래픽과 동일하게 취급됩니다.

트래픽 증가율 제한은 어떻게 되나요?

패스트 모드에는 유연한 온디맨드 요금을 제공하면서도 모든 고객에게 일관되게 높은 성능을 보장하기 위한 트래픽 증가율 제한이 있습니다. (a) 패스트 모드의 성능이 저하되고 (b) 고객의 트래픽이 너무 빠르게 증가하는 경우, 드물게 일부 요청이 Standard 처리로 하향 전환될 수 있습니다.

현재 패스트 모드의 트래픽 증가율 제한은 여기의 기본 문서에 정의되어 있습니다.

트래픽 증가율 제한을 준수하기 위한 권장사항

모델을 변경할 때는 트래픽을 점진적으로 늘리세요. 예를 들어 애플리케이션을 이전 스냅샷에서 새 스냅샷으로 전환하는 경우, 트래픽을 한꺼번에 전환하지 말고 기능 플래그를 사용해 몇 시간에 걸쳐 전환하세요.

패스트 모드에서 대규모 데이터 처리 또는 비동기 작업을 실행하지 마세요. 이러한 작업은 트래픽을 매우 빠르게 늘릴 수 있으며, 대개 패스트 모드의 향상된 성능이 필요하지 않습니다.

트래픽 증가율 제한에 자주 도달한다면 스케일 등급 할당량 구매를 고려하세요.

트래픽 증가율 제한은 프로젝트 또는 조직 간에 공유되나요?

네. 모든 트래픽에 동일한 트래픽 증가율 제한이 적용됩니다.

정책

패스트 모드가 지연 시간 목표를 충족하지 못하면 어떻게 되나요?

궁금한 점이나 우려 사항이 있으면 담당 AD에게 문의하세요. 패스트 모드 SLA는 스케일 등급 SLA와 동일하게 적용됩니다. 특정 기간에 Enterprise 계약 고객의 SLA를 충족하지 못한 경우 서비스 크레딧이 제공됩니다.

패스트 모드는 데이터 레지던시와 호환되나요?

네.

패스트 모드는 ZDR 및 BAA와 호환되나요?

네.