วิธีการทำงาน

ลูกค้าสามารถส่งทราฟฟิกไปยังโหมด Fast แยกตามคำขอได้โดยใช้พารามิเตอร์ service_tier ที่มีอยู่ พร้อมตัวเลือก service_tier = "fast"

Token ที่ให้บริการโดยโหมด Fast จะคิดค่าบริการต่อ Token ในราคาที่สูงกว่าอัตราของการประมวลผลแบบ Standard

นอกจากการกำหนดค่าระดับคำขอแล้ว คุณยังตั้งค่าเริ่มต้นของโปรเจกต์เป็นโหมด Fast ได้ที่การตั้งค่าโปรเจกต์ > ประเภทของแพ็กเกจเริ่มต้น: Fast คุณยังคงเปลี่ยนการตั้งค่าสำหรับแต่ละคำขอได้ การเลือก Fast ในการตั้งค่าโปรเจกต์มีผลเหมือนกับการเลือก Priority

โหมดนี้ทำงานร่วมกับระดับการรองรับการใช้งานอย่างไร

ระดับการรองรับการใช้งานจะยังคงแยกจากโหมด Fast คำขอที่ส่งไปยังโหมด Fast จะเรียกเก็บเงินแยกต่างหาก และจะไม่นับรวมในแพ็กเกจ TPM ของระดับการรองรับการใช้งานที่คุณซื้อไว้

ฉันสามารถส่งทราฟฟิกส่วนเกินจากระดับการรองรับการใช้งานไปยังโหมด Fast โดยอัตโนมัติได้หรือไม่

ไม่ได้ ทราฟฟิกที่ส่งไปยังระดับการรองรับการใช้งานจะไม่ถูกส่งต่อไปยังโหมด Fast โดยอัตโนมัติเมื่อเกินโควตา

โหมด Fast คิดค่าบริการอย่างไร

Token ที่ให้บริการโดยโหมด Fast จะคิดค่าบริการต่อ Token ในราคาที่สูงกว่าอัตราของการประมวลผลแบบ Standard

ข้อผูกพันรายปีของฉันผูกกับโหมดการประมวลผลใดโหมดหนึ่งหรือไม่

ไม่ ค่าใช้จ่ายจากทุกโหมดการประมวลผลจะนับรวมในข้อผูกพันค่าใช้จ่าย Enterprise รายปีของคุณ

ฉันยังได้รับส่วนลดสำหรับ Token อินพุตที่แคชไว้หรือไม่

ได้รับ อินพุตที่แคชไว้จะได้รับส่วนลด 50–75% เช่นเดียวกับในการประมวลผลแบบ Standard

ฉันจะดูการใช้งานและค่าใช้จ่ายของโหมด Fast ได้อย่างไร

หากต้องการดู Token ที่ประมวลผลโดยโหมด Fast (เดิมเรียกว่า Priority processing) ให้ไปที่แดชบอร์ด Usage เลือก Chat Completions หรือ Responses แล้วเลือก Group by Service Tier

หากต้องการดูค่าใช้จ่ายของโหมด Fast ให้ไปที่แดชบอร์ด Usage แล้วเลือก Group by Line Item

ในแดชบอร์ด Usage คำขอที่ใช้ priority หรือ fast เป็น service_tier จะยังคงแสดงเป็น priority ข้อมูลนี้จะได้รับการอัปเดตสำหรับโมเดลในอนาคต

โมเดล

โหมด Fast พร้อมใช้งานกับบริบทยาว โมเดลที่ปรับแต่งแบบละเอียด Embedding และอื่นๆ หรือไม่

ยังไม่พร้อมใช้งานในขณะนี้ ในอนาคต เราจะพิจารณาว่าจะเปิดให้ใช้โหมด Fast กับผลิตภัณฑ์อื่นๆ นอกเหนือจากโมเดลล่าสุดของเราหรือไม่

โหมด Fast ทำงานกับรูปแบบข้อมูลอื่นๆ อย่างไร

โหมด Fast รองรับความสามารถแบบหลายรูปแบบเช่นเดียวกับ Standard โดยเฉพาะอย่างยิ่ง คุณสามารถใช้รูปภาพเป็นอินพุตสำหรับ Priority processing ได้ โดยระบบจะประมวลผลด้วยเวลาแฝงที่ต่ำเท่ากัน

โมเดลในอนาคตจะได้รับการรองรับหรือไม่

เราวางแผนที่จะเปิดให้ใช้โหมด Fast กับโมเดล GPT ใหม่ แต่ไม่รับประกันว่าจะรองรับทุกโมเดล

ลิมิตการใช้งาน

ลิมิตการใช้งานมีอะไรบ้าง

การใช้ Priority processing จะอยู่ภายใต้ลิมิตการใช้งานเดียวกับทราฟฟิก API แบบ Standard

ลิมิตอัตราการเพิ่มทราฟฟิกมีอะไรบ้าง

โหมด Fast มีลิมิตอัตราการเพิ่มทราฟฟิกเพื่อให้ลูกค้าทุกคนได้รับประสิทธิภาพสูงอย่างสม่ำเสมอ ขณะเดียวกันก็ยังมีราคาที่ยืดหยุ่นตามการใช้งาน ในบางกรณีที่เกิดขึ้นไม่บ่อยนัก หาก (ก) ประสิทธิภาพของโหมด Fast ลดลง และ (ข) ทราฟฟิกของลูกค้าเพิ่มขึ้นเร็วเกินไป คำขอบางส่วนอาจถูกลดระดับไปใช้การประมวลผลแบบ Standard แทน

ลิมิตอัตราการเพิ่มทราฟฟิกของโหมด Fast ในปัจจุบันระบุไว้ในเอกสารหลักของเราที่นี่

แนวทางปฏิบัติที่ดีที่สุดเพื่อไม่ให้เกินลิมิตอัตราการเพิ่มทราฟฟิก

ค่อยๆ เพิ่มทราฟฟิกเมื่อเปลี่ยนโมเดล ตัวอย่างเช่น หากแอปพลิเคชันของคุณกำลังเปลี่ยนจาก Snapshot ก่อนหน้าไปใช้เวอร์ชันใหม่ ให้ใช้ Feature Flag เพื่อทยอยย้ายทราฟฟิกตลอดช่วงเวลาหลายชั่วโมง แทนที่จะย้ายทั้งหมดในครั้งเดียว

หลีกเลี่ยงการใช้โหมด Fast เพื่อประมวลผลข้อมูลปริมาณมากหรือเรียกใช้งานแบบอะซิงโครนัส งานเหล่านี้อาจทำให้ทราฟฟิกเพิ่มขึ้นอย่างรวดเร็ว และมักไม่จำเป็นต้องใช้ประสิทธิภาพที่ดีขึ้นของโหมด Fast

หากคุณพบลิมิตอัตราการเพิ่มทราฟฟิกเป็นประจำ ให้พิจารณาซื้อโควตาระดับการรองรับการใช้งานแทน

โปรเจกต์หรือองค์กรของฉันใช้ลิมิตอัตราการเพิ่มทราฟฟิกร่วมกันหรือไม่

ใช่ ทราฟฟิกทั้งหมดของคุณจะนับรวมในลิมิตอัตราการเพิ่มทราฟฟิกเดียวกัน

นโยบาย

จะเกิดอะไรขึ้นหากโหมด Fast ไม่เป็นไปตามเป้าหมายด้านเวลาแฝง

หากมีคำถามหรือข้อกังวล โปรดติดต่อ AD ของคุณ SLA ของโหมด Fast จะใช้เกณฑ์เดียวกับ SLA ของระดับการรองรับการใช้งาน หากเราไม่สามารถปฏิบัติตาม SLA ดังกล่าวได้ภายในช่วงเวลาที่กำหนด ลูกค้าที่มีข้อตกลง Enterprise จะได้รับเครดิตบริการ

โหมด Fast รองรับถิ่นที่อยู่ของข้อมูลหรือไม่

รองรับ

โหมด Fast รองรับ ZDR และ BAA หรือไม่

รองรับ