設置
  • 日夜間
    隨系統(tǒng)
    淺色
    深色
  • 主題色

集成 2.6 萬億個 7nm 晶體管,世界最大 AI 芯片打破單設備訓練大模型記錄

雷峰網 2022/6/23 19:32:52 責編:長河

以造出世界上最大加速器芯片 CS-2 Wafer Scale Engine 聞名的公司 Cerebras 昨日宣布他們已經在利用“巨芯”進行人工智能訓練上走出了重要的一步。該公司訓練出了單芯片上全世界最大的 NLP(自然語言處理)AI 模型

該模型具有 20 億個參數(shù),基于 CS-2 芯片進行訓練。這塊全世界最大的加速器芯片采用 7nm 制程工藝,由一整塊方形的晶圓刻蝕而成。它的大小數(shù)百倍于主流芯片,具有 15KW 的功率。它集成了 2.6 萬億個 7nm 晶體管,封裝了 850000 個內核和 40GB 內存

世界最大AI芯片打破單設備訓練大模型記錄 ,Cerebras要「殺死」GPU

▲ 圖 1 CS-2 Wafer Scale Engine 芯片

單芯片訓練 AI 大模型新紀錄

NLP 模型的開發(fā)是人工智能中的一個重要領域。利用 NLP 模型,人工智能可以“理解”文字含義,并進行相應的動作。OpenAI 的 DALL.E 模型就是一個典型的 NLP 模型。這個模型可以將使用者的輸入的文字信息轉化為圖片輸出

比如當使用者輸入“牛油果形狀的扶手椅”后,AI 就會自動生成若干與這句話對應的圖像。

世界最大AI芯片打破單設備訓練大模型記錄 ,Cerebras要「殺死」GPU

▲ 圖:AI 接收信息后生成的“牛油果形狀扶手椅”圖片

不止于此,該模型還能夠使 AI 理解物種、幾何、歷史時代等復雜的知識。

但要實現(xiàn)這一切并不容易,NLP 模型的傳統(tǒng)開發(fā)具有極高的算力成本和技術門檻。

實際上,如果只討論數(shù)字,Cerebras 開發(fā)的這一模型 20 億的參數(shù)量在同行的襯托下,顯得有些平平無奇。

前面提到的 DALL.E 模型具有 120 億個參數(shù),而目前最大的模型是 DeepMind 于去年年底推出的 Gopher,具有 2800 億個參數(shù)。

但除去驚人的數(shù)字外,Cerebras 開發(fā)的 NLP 還有一個巨大的突破:它降低了 NLP 模型的開發(fā)難度。

「巨芯」如何打敗 GPU?

按照傳統(tǒng)流程,開發(fā) NLP 模型需要開發(fā)者將巨大的 NLP 模型切分若干個功能部分,并將他們的工作負載分散到成百上千個圖形處理單元上。

數(shù)以千百計的圖形處理單元對廠商來說意味著巨大的成本。

技術上的困難也同樣使廠商們痛苦不堪。

切分模型是一個定制的問題,每個神經網絡、每個 GPU 的規(guī)格、以及將他們連接(或互聯(lián))在一起的網絡都是獨一無二的,并且不能跨系統(tǒng)移植。

廠商必須在第一次訓練前將這些因素統(tǒng)統(tǒng)考慮清楚。

這項工作極其復雜,有時候甚至需要幾個月的時間才能完成。

Cerebras 表示這是 NLP 模型訓練中“最痛苦的方面之一”。只有極少數(shù)公司擁有開發(fā) NLP 所必要的資源和專業(yè)知識。對于人工智能行業(yè)中的其他公司而言,NLP 的訓練則太昂貴、太耗時且無法使用。

但如果單個芯片就能夠支持 20 億個參數(shù)的模型,就意味著不需要使用海量的 GPU 分散訓練模型的工作量。這可以為廠商節(jié)省數(shù)千個 GPU 的訓練成本和相關的硬件、擴展要求。同時這也使廠商不必經歷切分模型并將其工作負載分配給數(shù)千個 GPU 的痛苦。

Cerebras 也并未僅僅執(zhí)拗于數(shù)字,評價一個模型的好壞,參數(shù)的數(shù)量并不是唯一標準。

比起希望誕生于“巨芯”上的模型“努力”,Cerebras 更希望的是模型“聰明”。

之所以 Cerebras 能夠在參數(shù)量上取得爆炸式增長,是因為利用了權重流技術。這項技術可以將計算和內存的占用量解耦,并允許將內存擴展到足以存儲 AI 工作負載中增加的任何數(shù)量的參數(shù)。

由于這項突破,設置模型的時間從幾個月減少到了幾分鐘。并且開發(fā)者在 GPT-J 和 GPT-Neo 等型號之間“只需幾次按鍵”就可以完成切換。這讓 NLP 的開發(fā)變得更加簡單。

這使得 NLP 領域出現(xiàn)了新的變化。

正如 Intersect360 Research 首席研究官 Dan Olds 對 Cerebras 取得成就的評價:“Cerebras 能夠以具有成本效益、易于訪問的方式將大型語言模型帶給大眾,這為人工智能開辟了一個激動人心的新時代。”

廣告聲明:文內含有的對外跳轉鏈接(包括不限于超鏈接、二維碼、口令等形式),用于傳遞更多信息,節(jié)省甄選時間,結果僅供參考,IT之家所有文章均包含本聲明。

相關文章

關鍵詞:人工智能,芯片

軟媒旗下網站: IT之家 最會買 - 返利返現(xiàn)優(yōu)惠券 iPhone之家 Win7之家 Win10之家 Win11之家

軟媒旗下軟件: 軟媒手機APP應用 魔方 最會買 要知