OpenAI 自研芯片的計(jì)劃終于看到了實(shí)質(zhì)性進(jìn)展。根據(jù) SemiAnalysis 最近的一篇文章，他們正從谷歌 TPU 團(tuán)隊(duì)招募人才，擴(kuò)展自己的芯片研發(fā)組。
OpenAI 在芯片方面的野心傳聞已久。
目睹了近年來(lái) PC 和 AI 行業(yè)兩次重大的半導(dǎo)體供應(yīng)危機(jī)之后，Sam Altman 似乎認(rèn)為臺(tái)積電、三星代工和英特爾代工這些傳統(tǒng)的芯片制造商沒(méi)有足夠的產(chǎn)能，不能滿足全球?qū)?AI 芯片迅猛增長(zhǎng)的需求。
不僅僅是 OpenAI 的算力需要減少對(duì)英偉達(dá)芯片的依賴，阿爾特曼甚至還希望建造更多的晶圓廠，可以穩(wěn)定供給其他公司。
根據(jù)華爾街日?qǐng)?bào)的報(bào)道，今年 2 月，阿爾特曼會(huì)見(jiàn)軟銀 CEO 和臺(tái)積電的談判代表，討論合資事宜，計(jì)劃在未來(lái)幾年內(nèi)共同建造和運(yùn)營(yíng)數(shù)十座芯片制造工廠。
然而，造芯片要燒的錢(qián)相比訓(xùn)練大模型，只會(huì)多不會(huì)少。根據(jù)阿爾特曼本人的估計(jì)，要建造新的半導(dǎo)體制造設(shè)備和相關(guān)基礎(chǔ)設(shè)施，成本可能高達(dá) 5-7 萬(wàn)億美元。
由于傳統(tǒng)的私人風(fēng)投很難一下子拿出這么多資金，阿爾特曼曾經(jīng)找到美國(guó)商務(wù)部長(zhǎng)討論，甚至遠(yuǎn)赴新加坡和阿聯(lián)酋會(huì)見(jiàn)當(dāng)?shù)毓賳T，想尋求國(guó)有資本的支持。
經(jīng)過(guò)了半年多的籌備和發(fā)酵，OpenAI 的芯片事業(yè)似乎真的要起步了！
芯片人才大戰(zhàn)，谷歌 vs. OpenAI
據(jù) SemiAnalysis 的最新報(bào)道，OpenAI 最近開(kāi)始大規(guī)模招募，計(jì)劃將只有幾個(gè)人的芯片團(tuán)隊(duì)擴(kuò)展到幾十個(gè)人。
而且，他們延續(xù)了招聘人才的一貫策略 —— 挖角谷歌。
新近招募的幾乎所有研究人員，都是現(xiàn)任或前任的谷歌 TPU 團(tuán)隊(duì)成員。
不同于最初為圖形處理和實(shí)時(shí)渲染設(shè)計(jì)的 GPU，TPU 是谷歌從頭設(shè)計(jì)的，專門(mén)用于加速機(jī)器學(xué)習(xí)和神經(jīng)網(wǎng)絡(luò)的計(jì)算，能夠更出色地解決張量運(yùn)算問(wèn)題。
GPU 以 ALU（高級(jí)算術(shù)邏輯單元）作為核心組件，而 TPU 的核心是矩陣乘法器單元（MXU），能夠以很高的吞吐量執(zhí)行矩陣乘法和累加。
雖然 TPU 的任務(wù)通用性不如 GPU，尤其是沒(méi)有 CUDA 這樣的編程接口，但在運(yùn)算性能和能源效率方面表現(xiàn)出色，尤其是那些經(jīng)過(guò)谷歌團(tuán)隊(duì)特別優(yōu)化的任務(wù)。
因此可以說(shuō)，TPU 是世界上性能 / TCO（總體擁有成本）最優(yōu)的機(jī)器學(xué)習(xí)基礎(chǔ)設(shè)施。
雖然谷歌的 TPU 已經(jīng)有如此高的成就，但是 OpenAI 芯片團(tuán)隊(duì)的工作機(jī)會(huì)依舊有多方面的吸引力。
首先是大公司和創(chuàng)業(yè)公司在發(fā)展速度上的本質(zhì)差異。
TPU 首次發(fā)布是在 2013 年，到今年 5 月最新推出的 TPUv6，團(tuán)隊(duì)已經(jīng)有了十多年開(kāi)發(fā)經(jīng)驗(yàn)。珠玉在前，系統(tǒng)設(shè)計(jì)和微架構(gòu)很難有較大變動(dòng)，更多的是迭代性、漸進(jìn)式的改進(jìn)。
加入 OpenAI 則不同，在從頭開(kāi)始設(shè)計(jì)、開(kāi)發(fā)的過(guò)程中，成員們有機(jī)會(huì)嘗試更創(chuàng)新、更激進(jìn)的方法。
而且 OpenAI 一向雄心勃勃，他們的目標(biāo)是構(gòu)建由數(shù)百萬(wàn)個(gè)加速器組成的系統(tǒng)，這比 GPT-4 的訓(xùn)練還要大好幾個(gè)數(shù)量級(jí)。
此外，團(tuán)隊(duì)合作模式也有很大的區(qū)別。
在尾大不掉的谷歌，雖然 TPU 團(tuán)隊(duì)也會(huì)和 DeepMind 合作，但依舊會(huì)遇到不少非技術(shù)方面的障礙。
相比之下，OpenAI 內(nèi)部的芯片和模型團(tuán)隊(duì)之間，交流與合作會(huì)更為緊密順暢。
除了這些，當(dāng)然也有薪酬的差異。
實(shí)際上，Google TPU 團(tuán)隊(duì)已經(jīng)是半導(dǎo)體設(shè)計(jì)領(lǐng)域中薪酬最高的團(tuán)隊(duì)之一，工程師的平均收入遠(yuǎn)高于 AMD、英特爾、高通等大多數(shù)半導(dǎo)體公司，能和行業(yè)龍頭英偉達(dá)比肩。
OpenAI 的基本工資雖然沒(méi)那么豐厚，但作為未上市的創(chuàng)業(yè)團(tuán)隊(duì)，每年向高級(jí)工程師提供的價(jià)值數(shù)百萬(wàn)美元的股權(quán)更加誘人。
有了這幾重因素的疊加，再加上 CEO 阿爾特曼本人親自參與了大部分的招聘工作，OpenAI 招募到的人才質(zhì)量令人驚嘆。
GPT-4o 和 Sora 模型發(fā)布時(shí)，團(tuán)隊(duì)成員背景、能力之強(qiáng)悍總能驚艷到網(wǎng)友。
SemiAnalysis 的記者向同行打聽(tīng)這些被挖角的 TPU 人才時(shí)，總能得到這樣的回答，「他們是我合作過(guò)的最好的工程師之一」。
OpenAI 之所以瞄準(zhǔn)谷歌的 TPU 團(tuán)隊(duì)，既是希望得到最先進(jìn)的技術(shù)和人才，也同樣有商業(yè)競(jìng)爭(zhēng)上的考量。
在硅谷的眾多科技巨頭中，只有谷歌研發(fā)的 TPU 能成功替代英偉達(dá)的芯片，并部署在公司內(nèi)部的云服務(wù)中。
Meta、亞馬遜和微軟等公司雖然也在自研芯片方面做了很多努力，但依舊嚴(yán)重依賴英偉達(dá)。
在未來(lái)相當(dāng)長(zhǎng)的時(shí)間內(nèi)，AMD 和英偉達(dá)等半導(dǎo)體公司將依舊是 OpenAI 的合作伙伴，因此輕易得罪不起。
只有面對(duì)天生的死對(duì)頭 —— 谷歌，OpenAI 才敢如此肆無(wú)忌憚地挖角。（連發(fā)布會(huì)都要搶在谷歌 I / O 大會(huì)前一天開(kāi)）
雖然已經(jīng)獲得了如此強(qiáng)大的人才團(tuán)隊(duì)，但是芯片研發(fā)依舊需要付出巨大的努力。
預(yù)計(jì)要到 2027 年底，OpenAI 才能推出第一代自研芯片。在那之前，他們依舊會(huì)完全依賴商用芯片。
與微軟關(guān)系逐漸微妙
OpenAI 自研芯片的決策有些讓人摸不到頭腦。背靠微軟的資金和 Azure 云服務(wù)的強(qiáng)大算力，為什么要燒錢(qián)自研芯片？
實(shí)際上，OpenAI 的與微軟之間的關(guān)系已經(jīng)愈發(fā)緊張，因?yàn)閷?duì)于微軟而言，OpenAI 是一家結(jié)構(gòu)非常怪異的公司。
目前，它本質(zhì)上依舊是一家完全獨(dú)立的非營(yíng)利組織，由 OpenAI Nonprofit 管理。微軟作為無(wú)投票權(quán)的董事會(huì)觀察員，幾乎無(wú)法控制 OpenAI 的發(fā)展走向。
如果因?yàn)?AGI 安全問(wèn)題，OpenAI 董事會(huì)要求中止協(xié)議、收回模型的使用權(quán)，微軟就只能乖乖聽(tīng)命，毫無(wú)還手之力。
AGI 從所有的商業(yè)和知識(shí)產(chǎn)權(quán)許可協(xié)議中分割開(kāi)來(lái)。
董事會(huì)決定我們何時(shí)實(shí)現(xiàn) AGI。再次強(qiáng)調(diào)，AGI 指的是一種高度自治的系統(tǒng)，在最具經(jīng)濟(jì)價(jià)值的工作中優(yōu)于人類(lèi)表現(xiàn)。此類(lèi)系統(tǒng)不包括在與微軟簽訂的 IP 許可和其他商業(yè)條款中，這些條款僅適用于 AGI 之前的技術(shù)。
因此，兩方面都在施行自己的「脫鉤」計(jì)劃。
OpenAI 需要在芯片和算力方面逐漸獨(dú)立，微軟在試圖減少對(duì) OpenAI 模型的依賴。
比如微軟近期投資 Inflection AI，以及自行組建團(tuán)隊(duì)開(kāi)發(fā) Phi-3、MAI-1 等模型，都是出于這方面的考量。
目前，許多企業(yè)用戶通過(guò) Azure 使用 OpenAI 的技術(shù)，包括超過(guò) 65% 的《財(cái)富》500 強(qiáng)公司。
微軟希望擁有自研的 GPT-4 級(jí)別 LLM，以及滿足不同用戶需求的一系列模型，以便在 Azure 的推理服務(wù)中替換掉 OpenAI。
對(duì)于 OpenAI 來(lái)說(shuō)，想要在算力方面自給自足，購(gòu)買(mǎi)英偉達(dá)芯片的成本過(guò)高，并不是最好的選擇。因此，自研芯片似乎是唯一出路。
實(shí)際上，不僅僅是 OpenAI，Meta、微軟、谷歌和亞馬遜等公司也都在大力投資，開(kāi)發(fā)自己的 AI 加速器。
這些 AI 巨頭一邊是英偉達(dá)最大的客戶，一邊也成為最有力的競(jìng)爭(zhēng)對(duì)手。
畢竟，在模型訓(xùn)練的過(guò)程中，算力已經(jīng)成為占比最大的支出。如果能將購(gòu)置芯片的資金轉(zhuǎn)變?yōu)閮?nèi)部投入，以制造成本部署 GPU 或 TPU，模型的成本也將大幅下降。
參考資料：
https://www.semianalysis.com/p/openai-chip-team-is-now-serious
https://www.wevolver.com/article/tpu-vs-gpu-in-ai-a-comprehensive-guide-to-their-roles-and-impact-on-artificial-intelligence
廣告聲明：文內(nèi)含有的對(duì)外跳轉(zhuǎn)鏈接（包括不限于超鏈接、二維碼、口令等形式），用于傳遞更多信息，節(jié)省甄選時(shí)間，結(jié)果僅供參考，IT之家所有文章均包含本聲明。