IT之家 2 月 19 日消息,OpenAI 在去年 11 月召開的 DevDay 活動中,推出了 GPT-4 Turbo,最多支持 12.8 萬個 token:輸入 token 價格是 GPT-4 的三分之一,輸出 token 價格是其二分之一。
OpenAI 近日發(fā)布新聞稿,宣布 GPT-4 Turbo 速率上限翻番,每分鐘最多可處理 150 萬個 token(TPM),而且完全取消了每日限制。
OpenAI 為了防止濫用、確保公平性和管理基礎(chǔ)架構(gòu)負載,限制企業(yè)訪問 API 的速率。這種限制可以防止惡意超載應(yīng)用程序接口,確保所有用戶都能公平訪問,并通過節(jié)流指定時間內(nèi)允許的請求數(shù)量,在高需求期間保持平穩(wěn)的性能。
IT之家注:OpenAI 一共使用了 5 種速率限制:RPM(每分鐘請求數(shù))、RPD(每天請求數(shù))、TPM(每分鐘 tokens 數(shù)量)、TPD(每天 tokens 數(shù)量)和 IPM(每分鐘圖像數(shù)量)。
需要注意的是,速率限制是對組織級別實施的,對個體用戶沒啥影響。速率限制因所使用的模式而異,組織每月在 API 上的總支出也有 "使用限制"。
相關(guān)閱讀:
《OpenAI 推出 GPT-4 Turbo:支持 128k 上下文,集成 DALL?E 3,號稱“比上代便宜 2/3”》
廣告聲明:文內(nèi)含有的對外跳轉(zhuǎn)鏈接(包括不限于超鏈接、二維碼、口令等形式),用于傳遞更多信息,節(jié)省甄選時間,結(jié)果僅供參考,IT之家所有文章均包含本聲明。