設置
  • 日夜間
    隨系統(tǒng)
    淺色
    深色
  • 主題色

AMD 的 AI 黃金時代,少不了 EPYC 這張王牌

2023/12/14 10:30:02 來源:IT之家 作者:汐元 責編:汐元

12 月 7 日,AMD 在美國加州圣何塞舉行的 Advancing AI 大會上,正式推出了旗艦 AI GPU 加速器 Instinct MI300X、世界上第一個數據中心 APU Instinct MI300A、還有升級 XDNA AI NPU 的 Ryzen 8040 系列 APU。

20231212121159

款款王炸新品的發(fā)布引燃了整個半導體行業(yè),推動 AMD 的股價在發(fā)布會后直接上漲 10% 左右。特別是 Instinct MI300X 與 MI300A 兩大殺器攻向了 AI 算力市場巨頭英偉達的戰(zhàn)略腹地,讓英偉達在 AI 芯片市場一家獨大的地位受到了可能是有史以來最大的挑戰(zhàn)。

AI 運算只適合 GPU?看看 AMD EPYC,CPU 照樣 Hold 住

我們知道,AI 是全球科技發(fā)展的下一個大時代,也是變革千行百業(yè)的新動力,尤其是今年以來,chatGPT 的火熱出圈更是讓生成式 AI 掀起了全球人工智能新浪潮。

而在 AI 顛覆人類生產力的背后,算力就是如同石油一般金貴的燃料和動力來源。

AI 運算是一個需要大量重復運算的領域,這與 GPU 天然適合大規(guī)模并發(fā)計算的特性十分契合。因此,作為 GPU 巨頭的英偉達在 AI 時代一躍成為執(zhí)牛耳者。但在任何領域,“一家獨大”都不是健康的產業(yè)形態(tài),英偉達熱門加速卡的“一卡難求”以及高昂的價格和成本,讓很多科技公司苦不堪言,因此很多企業(yè)開始選擇自研 AI 加速芯片,或者將目光投向替代者。

而 AMD 無疑就是最受期待的挑戰(zhàn)者,事實上,從最重要的產品算力性能上看,AMD 也的確沒讓人失望。

比如這次發(fā)布的 AI GPU 加速器 MI300X,它的顯存容量是英偉達明星加速卡 H100 的 2.4 倍,內存帶寬是其 1.6 倍,FP8 / FP16 TFLOPS 精度是 H100 的 1.3 倍,在 1v1 比較中,訓練中型內核 FlashAttention 2 模型速度都比 H100 快 10%,大型內核比 H100 快 20%,而訓練中型內核 70B 參數的 Llama 2 模型比 H100 塊 20%,大型內核則比 H100 快 10%。還有 8v8 Server 比較中,Llama 2 70B 模型速度比 H100 快 40%,Bloom 176B 則快了 60%……

20231212121341

Instinct GPU AI 加速系列今天能夠如此驚艷,也是 AMD 多年發(fā)展迭代取得的成果。

而除了 Instinct GPU ,AMD EPYC“霄龍”處理器,同樣也是 AMD 面向企業(yè)級市場發(fā)展多年的王牌。

說到這,不得不談到很多人存在的一個誤區(qū),就像前面說的,GPU 很適合進行 AI 加速運算,這沒錯,但不代表進行人工智能運算只需要 GPU 就夠了。CPU,同樣重要。

GPU 服務于 AI 加速運算需要在數據中心,而數據中心的“心臟”,其實還是 CPU。相比 GPU,CPU 具有通用計算、獨立運行以及更豐富的軟件生態(tài)等優(yōu)勢,簡單來說,數據中心可以沒有 GPU,但不能沒有 CPU,AI 運算也是如此。

20231212121943

況且,CPU 本身也可以具有強大的 AI 能力,AMD 的 EPYC 就是很好的例子。比如在這次發(fā)布會的演示區(qū)中,AMD 就使用去年 11 月發(fā)布的 EPYC 9654 處理器運行 Llama 2 大語言模型,不僅可以快速流暢完成各種 AI 運算處理,對比競品英特爾 Xeon Platinum 8480 處理器,運行速度也有 36% 的提升。

20231213161526

這充分說明,在一些場景下,只依靠 CPU,也可以很好地完成生成式 AI 大模型的運算處理,而且相比如今高昂的 GPU 部署成本,通過 CPU 提供高算力,可以成為很多缺少 GPU 資源的企業(yè)更加經濟可行的解決方案

在這一點上,AMD 絕對是佼佼者。比如,根據今年 11 月最新的第 62 屆全球超級計算機排行榜 Top500,AMD 平臺已經為其中的 140 臺超級計算機提供支持,同比增長達 39%。其中,美國橡樹嶺國家實驗室的 Frontier 超級計算機憑借 1.194 exaflops 的性能再次位列榜首,而它就是由 AMD EPYC 7A53 64 核處理器和 Instinct MI250X GPU 加速器驅動的。

20231212122126

Frontier 不僅性能第一,能效也超強,在 1.194 exaflops 的頂級性能的同時,耗電量僅為 22703KW,比排名第二的阿貢國家實驗室 Aurora 系統(tǒng)少了約 2000KW。

此外,根據最新的 Green500 榜單,AMD 還為全球最節(jié)能的 10 臺超級計算機中的 8 臺提供了支持。

如今,AMD EPYC 處理器已經成為世界上許多最具創(chuàng)新性、最節(jié)能和最快速的超級計算機首選解決方案,即便是在面對當下爆發(fā)式增長的 AI 加速運算需求,同樣能表現出出色的效率和規(guī)模。這不禁又讓人想起 2017 年 EPYC“平地一聲雷”般初登場之時……

EPYC 勢如破竹的背后,AMD 抓住了這三點

2017 年 AMD EPYC 處理器推出之時,數據中心市場呈現出英特爾 x86 至強處理器一家獨大的態(tài)勢,服務器廠商們幾乎沒有別的選擇,只能跟著至強的腳步走,對服務器的架構設計這些沒有太多關注的余地,同時也只能聽憑英特爾要價。

而就在英特爾在鈔票堆上躺著掙錢的時候,2017 年 AMD 突然以 EPYC 7001 系列殺回服務器市場,贏得了行業(yè)的一片叫好。

AMD EPYC 處理器出道就驚艷,最高規(guī)格可以達到 32 核心 64 線程,非常暴力,雖然價格和至強差不多,但性能比當時至強高出了 30% 多,給對手帶來了很大的壓力。當時采用雙路 AMD EPYC 7601 處理器的惠普 HPE ProLiant DL385 服務器直接打破了 SPEC 2017 以及 SPEC 2006 的跑分世界紀錄,可見 EPYC 處理器問世之后給行業(yè)帶來的新氣象。

20231212122846

縱觀 AMD EPYC 處理器這些年的高能發(fā)展,IT之家覺得有三個重點:

  • 第一是瘋狂“堆料”帶來超強算力,最好的配置,最創(chuàng)新的技術都不吝使用,由此每一代都能實現最高計算密度、最強性能,同時還能保持最高的能效。

  • 第二是 AMD 做了足夠細致的產品劃分,面對不同的市場和場景需求都有針對性的產品。

  • 卓越的性價比。

這三點應該是 AMD 能夠一路逆襲的秘訣。相信大家通過下面的介紹就可以感受到。

比如 2019 年,AMD 發(fā)布了代號“ROME”的第二代 EPYC 7002 系列處理器,不僅行業(yè)率先在服務器芯片上使用了 7nm 工藝,Zen 架構也升級到第二代,由于 7nm 核心更小,AMD 在 7002 系列 CPU 塞入了相比上代 EPYC 多達兩倍的核心,同時保持更高的時鐘速度,最高 64 核心 128 線程,超過 128 條 PCIe 4.0 通道,只有 225W TDP,加速頻率可達 3.4GHz,其中最強的 EPYC 7742 性能相對于英特爾至強當時的 8280L 提升高達 97%。

AMD-EPYC-7002-Overview

AMD 對先進技術和創(chuàng)新的追求還不止于此,再比如他們在 2021 年末推出的 EPYC Milan-X 7073 系列處理器中,有一個重要的創(chuàng)新技術,就是首發(fā)使用了 3D V-Cache 技術。

3D V-Cache 簡單來說就是把 SRAM 芯粒直接堆疊在 CPU 上面,然后通過硅通孔技術進行數據傳輸,這就相當于內存和 CPU“貼臉輸出”了,傳輸速度可想而知,并且在帶寬和內存容量方面都有極大的提升,比如這一代旗艦款處理器 EPYC 7773X 的緩存就達到了恐怖的 768MB。

20231212132451

然后就是 2022 年 11 月,AMD 最新的第四代 EPYC 處理器、代號“Genoa”的 9004 系列正式發(fā)布。

這里要插一嘴的是,從 2017 年 AMD EPYC 橫空出世到“Genoa”發(fā)布的這段時間,AMD 一直在迅速吞噬英特爾的市場份額,根據研究公司 IDC 當時的數據,AMD 基于 x86 架構的云服務芯片市場份額從 2016 年的 0 直接增長到 2021 年的約 29%。

再看 EPYC 9004 系列處理器,采用了領先的 5nm 工藝,Zen 4 架構,最高可以達到 96 核 192 線程、4.4GHz 加速頻率,還有單路最大 6TB DDR5 內存和 128 條 PCIe Gen 5 總線,三級緩存最大達到 384MB,Chiplet 芯粒技術、支持 CXL1.1+ 內存擴展,在安全方面擴展了 AMD Infinity Guard,而且加密密鑰數量足足增加了 2 倍……

20231212132625

所有這些極具創(chuàng)新的看點都被 EPYC 9004 系列收羅其中,再看英特爾推遲到今年 1 月發(fā)布的第四代至強可擴展處理器,這是英特爾首個基于 Chiplet 設計的至強處理器,而這項具有未來前景的技術,AMD 在第一代 EPYC 處理器中就已經在布局了。

其他參數方面,第四代至強最多 60 核、Intel 7 工藝(原 10nm),單路最大 4TB DDR5 內存、80 條 PCIe 5.0 通道,還有 112.5MB 三級緩存和 4.2GHz 至高頻率等,基本上是全面被 EPYC 9004 系列壓制。

但同時,其價格卻比 AMD 高出不少,56 核心的至強鉑金 9480(12980 美元)比 96 核心的 EPYC 9654(11805 美元)要貴不少,而 48 核心的 EPYC 9454(5225 美元)相比同為 48 核心的至強 9468(9900 美元)便宜了近一半。

在強強對話下,AMD 第四代 EPYC 旗艦產品 9654 對比競品旗艦至強鉑金 8490H,在云服務應用性能基準測試(2P SPECrate@2017_int_base)中,領先 8490H 1.8 倍,同時企業(yè)計算性能也要領先 1.7-1.9 倍,能效則領先 1.8 倍,性價比也是多達 2.58 倍。

aaa

而在今年 1 月 20 日的 PassMark 跑分榜中,EPYC 9654 第一次登頂榜首,寫稿時小編查詢了最新的榜單,EPYC 9654 仍然位列企業(yè)級處理器的第一,而且這份榜單中,AMD 呈現出屠榜之勢。

20231211142454

“Genoa”9004 系列發(fā)布后,也得到了各大科技企業(yè)的響應,比如亞馬遜云 AWS 就推出了基于“Genoa”的 M7A 通用計算實例,性能比前一代提升了 50%,此外華碩、騰訊云、聯想等眾多大廠也紛紛推出了搭載第四代 EPYC 處理器的服務器解決方案。

第四代 EPYC 也充分體現了 AMD 對產品線細致劃分以滿足不同場景業(yè)務需求的戰(zhàn)略,比如在今年 6 月,AMD 又同時推出了 Genoa-X 系列和面向云原生市場的 EPYC 97X4 系列(Bergamo)處理器。

其中 EPYC Genoa-X 用于代替之前的 Milan-X 系列,這一次在 3D V-Cache 技術的加持下,AMD 為每個 CCD 堆疊了 64MB 3D 緩存,再加上每個 CCD 內部原有的 32MB 緩存,9004 系列處理器最多擁有 12 個 CCD,也就是說它的 L3 緩存最多可以達到嚇人的 1152MB,實現了單顆 CPU 芯片首次緩存容量突破 1GB!

20231212133631

同時 EPYC Genoa-X 的基準頻率相比之前的 9004 系列產品有所提高,加上更大的緩存容量,最高功耗也來到了 400W。不過這么做帶來的性能增益也相當明顯,國內媒體 MC 評測室此前對 Genoa-X 的旗艦產品 EPYC 9684X 進行了測試,其在 SPECrate 2017、UnixBench Dhrystone 2 和 Whetstone 等一眾基準測試中,對比 EPYC 9654、EPYC 9554 等前代產品都獲得了領先。

20231212133700

20231212133715

圖自:MC 評測室

代號 Bergamo 的 EPYC 97X4 系列則主要面向云原生場景。云計算廠商比較關注核心數量、數據帶寬等,需要高效、敏捷、可擴展能力強的計算環(huán)境,于是 EPYC 97X4 系列采用精簡的 Zen 4c 核心架構,相比 Zen 4 架構的處理器降低了緩存容量,每核心從原來的 4MB 降低到 2MB,但是核心數來到了 128 個,這個核心密度屬于業(yè)界最高了。除此之外,Zen 4c 在架構設計、工藝、指令集、IPC 性能等方面和 Zen 4 架構都完全一致,各項頂尖特性都得到了保留。

20231212133946

根據當時外媒 Hardwaretimes 的報道,系列旗艦 EPYC 9754 處理器在 V-Ray 5 跑分 2S 配置下,得分達到 221018 分,是競品至強 Platinum 8490H 處理器的 2.4 倍。

20231211204323

同時在云計算方面性能的對比中,EPYC 9754 相較至強 Platinum 8490H、8480 + 領先幅度最高可以達到 2.65 倍,最低也有 1.49 倍。

20231211204423

前面我們說到的 MC 評測室也對 EPYC 9754 做過縱向測試,雙路系統(tǒng)的 EPYC 9754 在 SPECrate 2017、NAMD、OpenSSL、UnixBench Dhrystone 2 和 Whetstone、Sysbench CPU 等多項測試中相較自家 EPYC 9754、EPYC 9554 等產品均有顯著的提升,最高提升幅度甚至可以達到 23.5%。

640

圖自:MC 評測室

這還不夠,今年 9 月,AMD 又推出了面向零售、制造和電信等智能邊緣應用和云服務等場景的 AMD EPYC 8004 系列處理器(Siena),進一步完善了第四代 EPYC 家族。

8004 系列處理器同樣采用 Zen 4c 核心,帶來更快內存和 I / O 功能的全新 SP6 插槽,最高 64 核心 128 線程,6 通道 DDR5 內存最大可支持 1.152TB,還能提供 96 條 PCIe 4 通道,如此高性能的同時默認 TDP 只有 200W,如此出色的性能和能效表現,可以很好地滿足在空間和功耗有限的情況下各類邊緣基礎設施的需求。

20231212134209

在視頻編碼工作負載中,EPYC 8534P 可提供領先的總幀數 / 小時 / 系統(tǒng)瓦特。在 IoT 邊緣網關工作負載中,采用 8 核 EPYC 8024P 的服務器在每 8kW 機架的總吞吐量圖性能中表現卓越。

AMD EPYC 8004 系列處理器發(fā)布后,眾多 OEM 廠商也同一時間發(fā)布了多款充分利用了 EPYC 8004 系列處理器優(yōu)勢的獨特系統(tǒng)和解決方案,比如戴爾科技的 Dell PowerEdge C6615 服務器、愛立信的 Cloud RAN 計算加速解決方案、微軟 Azure 云服務、愛立信的 Cloud RAN 計算加速解決方案等等。

說了這么多,相信大家也能感受到,AMD EPYC 之所以從誕生之后便能在企業(yè)級市場勢如破竹,正因為他們牢牢抓住了三大關鍵點,也就是高核心、高主頻、高緩存帶來的超高性能、還有很多企業(yè)和云服務商都很在意的卓越性價比、以及不斷像細分市場延伸,為不同負載場景提供最優(yōu)化解決方案的策略。

多年的持續(xù)迭代和創(chuàng)新,讓 AMD EPYC 在市場上的基礎越來越牢固,并逐漸構筑了更完善的軟硬件生態(tài),他們在操作系統(tǒng)、安全、基礎設施、AI、數據庫、高性能計算等更多領域都建立了廣泛的合作,并且持續(xù)兌現著市場和客戶的承諾。

結語

在這次 Advancing AI 大會上,AMD CEO 蘇姿豐表示,未來四年,人工智能芯片的總市場規(guī)??赡軙噬?4000 億美元,而一年前,AMD 對此的預估是 1500 億美元,翻了不止兩倍。

20231212121130

生成式 AI 的浪潮,相信就是 AMD 更加看好 AI 未來發(fā)展的關鍵因素,因為它第一次讓普通消費者切實感受到 AI 變革世界的能量。

我們相信,在接下來生成式 AI 引領的算力需求大爆炸的時代,CPU 的重要性一定不會減弱,反而會越來越強,在更多需要 AI 參與的場景中發(fā)揮價值。

而 AMD 對此已經做好了準備,EPYC CPU 和 Instinct 加速器,已然成為他們的兩張王牌??v觀整個半導體市場,幾乎還沒有像 AMD 這樣在 CPU、GPU 乃至 FPGA 和各種自適應 SoC 領域都開花的全能選手,特別是 EPYC CPU,經歷連續(xù)四代的進化,展現出了業(yè)界最高的計算密度、出色的性能和效率,它擁有高核心、巨大的緩存、高頻率以及豐富的技術特性,更是更有極高的性價比,已經逐漸成為數據中心客戶的首選。這些,都將助力 AMD 在 AI 時代釋放出更大的能量。

或許未來,AMD YES!不再僅僅是流傳在數碼發(fā)燒友和消費者之間的梗,而是來自整個千行百業(yè)對 AMD 以 AI 和算力賦能的認可。

廣告聲明:文內含有的對外跳轉鏈接(包括不限于超鏈接、二維碼、口令等形式),用于傳遞更多信息,節(jié)省甄選時間,結果僅供參考,IT之家所有文章均包含本聲明。

軟媒旗下網站: IT之家 最會買 - 返利返現優(yōu)惠券 iPhone之家 Win7之家 Win10之家 Win11之家

軟媒旗下軟件: 軟媒手機APP應用 魔方 最會買 要知