一直以來(lái)，Pytorch 在 Mac 上僅支持使用 CPU 進(jìn)行訓(xùn)練。就在剛剛，Pytorch 官方宣布，其最新版 v1.12 可以支持 GPU 加速了。只要是搭載了 M1 系列芯片的 Mac 都行。
這也就意味著在 Mac 本機(jī)用 Pytorch“煉丹”會(huì)更方便了！
訓(xùn)練速度可提升約 7 倍
此功能由 Pytorch 與 Apple 的 Metal 工程團(tuán)隊(duì)合作推出。它使用 Apple 的 Metal Performance Shaders (MPS) 作為 PyTorch 的后端來(lái)啟用 GPU 加速訓(xùn)練。
為了優(yōu)化計(jì)算性能，MPS 還針對(duì) Metal GPU 系列的獨(dú)特特性對(duì)每個(gè)內(nèi)核進(jìn)行了微調(diào)。
Metal 是一個(gè)類似 OpenGL 的框架，只不過(guò) OpenGL 適用于各平臺(tái)的移動(dòng)端 GPU 渲染和計(jì)算，Metal 專用于 iOS / MacOS 平臺(tái)，不過(guò)也兼顧了性能和易用性。
MPS 就是一套基于 Metal 框架的庫(kù)，直接調(diào)用即可使用 GPU 的高性能進(jìn)行圖形處理、構(gòu)建卷積神經(jīng)網(wǎng)絡(luò)等工作。
蘋果官方在搭載了 M1 Ultra、20 核 CPU、64 核 GPU、128GB RAM 和 2TB SSD 的 Mac Studio 上進(jìn)行了測(cè)試。（這陣容差不多能算是豪華配置了）。
他們分別訓(xùn)練了 batch size 為 128 的 ResNet50、batch size 為 64 的 HuggingFace BERT，以及 batch size=64 的 VGG16。
從下圖中我們可以發(fā)現(xiàn)，相比使用 CPU 加速，使用 GPU 可將模型訓(xùn)練速度提高約 7 倍，評(píng)估（evaluation）速度則最高能提約 20 倍。
看到這兒，有網(wǎng)友開始好奇它與搭載了 Nvidia GPU 的 laptop 相比性能如何。
有人表示，雖說(shuō)目前 M1 的原始計(jì)算性能比不上英偉達(dá)的產(chǎn)品，但功耗方面還不錯(cuò)。未來(lái)蘋果很有可能慢慢追上性能?？偟膩?lái)說(shuō)，Mac Studio 現(xiàn)在看起來(lái)實(shí)在太香了。
他進(jìn)一步解釋道：“畢竟它是你花 4800 美元就能買到的最便宜、包含 128GB GPU 內(nèi)存的機(jī)器?，F(xiàn)在有了基于 GPU 加速的 PyTorch 支持，完全可以用來(lái)訓(xùn)練大模型、配置大的 batch size。對(duì)于我所做的那種 DL 工作，數(shù)據(jù)加載比實(shí)際的原始計(jì)算能力更容易成為瓶頸?！?/p>
你心動(dòng)了嗎？現(xiàn)在就試試？
只需保證你的 macOS 操作系統(tǒng)在 12.3 版本及以上，且安裝了 arm64 原生 Python，然后去官網(wǎng)下載最新的 Pytorch 預(yù)覽版就可以了。
地址：
https://pytorch.org/blog/introducing-accelerated-pytorch-training-on-mac/
廣告聲明：文內(nèi)含有的對(duì)外跳轉(zhuǎn)鏈接（包括不限于超鏈接、二維碼、口令等形式），用于傳遞更多信息，節(jié)省甄選時(shí)間，結(jié)果僅供參考，IT之家所有文章均包含本聲明。