IT之家 10 月 2 日消息，據(jù) PyTorch 新聞稿，PyTorch 旗下架構(gòu)優(yōu)化庫 torchao 現(xiàn)已正式發(fā)布，該優(yōu)化庫主要專注于模型的量化和稀疏性優(yōu)化，能夠在保證性能的同時(shí)降低模型的計(jì)算成本和 RAM 用量，從而提升模型運(yùn)行效率，IT之家附 GitHub 頁面地址（點(diǎn)此訪問）。
據(jù)介紹，torchao 提供了一系列優(yōu)化工具集，可以幫助 LLaMA 3 等流行的 AI 模型提升性能，其支持 float8、int4 等低精度數(shù)據(jù)類型，能夠有效減少硬件開銷和 RAM 用量。
官方舉例，在 LLaMA 3 70B 模型的預(yù)訓(xùn)練中，torchao 提供的 float8 訓(xùn)練流程可將模型計(jì)算速度提升 1.5 倍。開發(fā)者只需利用 convert_to_float8_training 函數(shù)，即可將模型訓(xùn)練轉(zhuǎn)換為 float8，從而輕松實(shí)現(xiàn)模型高效訓(xùn)練。
在推理方面，torchao 提供多種量化方法，包括權(quán)重量化（Weight-Only Quantization）和動(dòng)態(tài)激活量化（Dynamic Activation Quantization），用戶可以自有選擇適合的量化策略，以獲得最佳的模型推理性能。
在稀疏性優(yōu)化方面， torchao 可以優(yōu)化模型參數(shù)計(jì)算效率，據(jù)稱可讓 ViT-H 模型的推理速度提升 5%。同時(shí)，torchao 還可以將權(quán)重量化為 int4，并將鍵值緩存量化為 int8，可令 LLaMA 3.1 8B 在完整的 128K 上下文長度下僅占用 18.9GB 的顯存。
廣告聲明：文內(nèi)含有的對(duì)外跳轉(zhuǎn)鏈接（包括不限于超鏈接、二維碼、口令等形式），用于傳遞更多信息，節(jié)省甄選時(shí)間，結(jié)果僅供參考，IT之家所有文章均包含本聲明。