IT之家 8 月 29 日消息,Zyphra 于 8 月 27 日發(fā)布博文,宣布推出 Zamba2-mini 1.2B 模型,共有 12 億參數(shù),聲稱(chēng)是端側(cè) SOTA 小語(yǔ)言模型,在 4bit 量化下內(nèi)存占用低于 700MB。
IT之家注:SOTA 全稱(chēng)為 state-of-the-art,并不是特指某個(gè)具體的模型,而是指在該項(xiàng)研究任務(wù)中,目前最好 / 最先進(jìn)的模型。
Zamba2-mini 1.2B 雖然尺寸不大,但媲美包括谷歌 Gemma-2B、Huggingface 的 SmolLM-1.7B、蘋(píng)果的 OpenELM-1.1B 和微軟的 Phi-1.5 等更大模型。
在推理任務(wù)中,Zamba2-mini 的卓越性能尤為顯著,與 Phi3-3.8B 等模型相比,Zamba2-mini 的首次令牌時(shí)間(從輸入到輸出第一個(gè) token 的延遲)是此前的二分之一,內(nèi)存占用減少了 27%。
Zamba2-mini 1.2B 主要通過(guò)高度優(yōu)化的架構(gòu)實(shí)現(xiàn),融合了不同神經(jīng)網(wǎng)絡(luò)設(shè)計(jì)的優(yōu)勢(shì),既能保持大型密集變壓器的高質(zhì)量輸出,又能以更小模型的計(jì)算和內(nèi)存效率運(yùn)行。
與前代 Zamba1 相比,Zamba2-mini 的關(guān)鍵進(jìn)步之一是集成了兩個(gè)共享注意力層(attention layers)。
這種雙層方法增強(qiáng)了模型在不同深度保持信息的能力,從而提高了整體性能。在共享注意力層中加入旋轉(zhuǎn)位置嵌入也略微提高了性能,這表明 Zyphra 致力于在模型設(shè)計(jì)中進(jìn)行漸進(jìn)而有影響力的改進(jìn)。
Zamba2-mini 是在一個(gè)包含三萬(wàn)億個(gè) token 的海量數(shù)據(jù)集上進(jìn)行預(yù)訓(xùn)練的,該數(shù)據(jù)集來(lái)自 Zyda 和其他公開(kāi)來(lái)源。
這個(gè)龐大的數(shù)據(jù)集經(jīng)過(guò)了嚴(yán)格的過(guò)濾和重復(fù)處理,以確保獲得最高質(zhì)量的訓(xùn)練數(shù)據(jù),并在退火(annealing)階段對(duì)其進(jìn)一步完善,其中包括在 1000 億個(gè)質(zhì)量極高的 tokens 上進(jìn)行訓(xùn)練。
Zyphra 已承諾使 Zamba2-mini 成為 Apache 2.0 許可下的開(kāi)源模型。
IT之家附上參考地址
廣告聲明:文內(nèi)含有的對(duì)外跳轉(zhuǎn)鏈接(包括不限于超鏈接、二維碼、口令等形式),用于傳遞更多信息,節(jié)省甄選時(shí)間,結(jié)果僅供參考,IT之家所有文章均包含本聲明。