一直以來，Pytorch 在 Mac 上僅支持使用 CPU 進(jìn)行訓(xùn)練。就在剛剛，Pytorch 官方宣布，其最新版 v1.12 可以支持 GPU 加速了。只要是搭載了 M1 系列芯片的 Mac 都行。
這也就意味著在 Mac 本機用 Pytorch“煉丹”會更方便了！
訓(xùn)練速度可提升約 7 倍
此功能由 Pytorch 與 Apple 的 Metal 工程團(tuán)隊合作推出。它使用 Apple 的 Metal Performance Shaders (MPS) 作為 PyTorch 的后端來啟用 GPU 加速訓(xùn)練。
為了優(yōu)化計算性能，MPS 還針對 Metal GPU 系列的獨特特性對每個內(nèi)核進(jìn)行了微調(diào)。
Metal 是一個類似 OpenGL 的框架，只不過 OpenGL 適用于各平臺的移動端 GPU 渲染和計算，Metal 專用于 iOS / MacOS 平臺，不過也兼顧了性能和易用性。
MPS 就是一套基于 Metal 框架的庫，直接調(diào)用即可使用 GPU 的高性能進(jìn)行圖形處理、構(gòu)建卷積神經(jīng)網(wǎng)絡(luò)等工作。
蘋果官方在搭載了 M1 Ultra、20 核 CPU、64 核 GPU、128GB RAM 和 2TB SSD 的 Mac Studio 上進(jìn)行了測試。（這陣容差不多能算是豪華配置了）。
他們分別訓(xùn)練了 batch size 為 128 的 ResNet50、batch size 為 64 的 HuggingFace BERT，以及 batch size=64 的 VGG16。
從下圖中我們可以發(fā)現(xiàn)，相比使用 CPU 加速，使用 GPU 可將模型訓(xùn)練速度提高約 7 倍，評估（evaluation）速度則最高能提約 20 倍。
看到這兒，有網(wǎng)友開始好奇它與搭載了 Nvidia GPU 的 laptop 相比性能如何。
有人表示，雖說目前 M1 的原始計算性能比不上英偉達(dá)的產(chǎn)品，但功耗方面還不錯。未來蘋果很有可能慢慢追上性能?？偟膩碚f，Mac Studio 現(xiàn)在看起來實在太香了。
他進(jìn)一步解釋道：“畢竟它是你花 4800 美元就能買到的最便宜、包含 128GB GPU 內(nèi)存的機器?，F(xiàn)在有了基于 GPU 加速的 PyTorch 支持，完全可以用來訓(xùn)練大模型、配置大的 batch size。對于我所做的那種 DL 工作，數(shù)據(jù)加載比實際的原始計算能力更容易成為瓶頸?！?/p>
你心動了嗎？現(xiàn)在就試試？
只需保證你的 macOS 操作系統(tǒng)在 12.3 版本及以上，且安裝了 arm64 原生 Python，然后去官網(wǎng)下載最新的 Pytorch 預(yù)覽版就可以了。
地址：
https://pytorch.org/blog/introducing-accelerated-pytorch-training-on-mac/
廣告聲明：文內(nèi)含有的對外跳轉(zhuǎn)鏈接（包括不限于超鏈接、二維碼、口令等形式），用于傳遞更多信息，節(jié)省甄選時間，結(jié)果僅供參考，IT之家所有文章均包含本聲明。