面壁智能發(fā)布 Eurux-8x22B 開源大模型：代碼性能超越 Llama3-70B

IT之家 5 月 3 日消息，面壁智能發(fā)布開源大模型 Eurux-8x22B，包括 Eurux-8x22B-NCA 與 Eurux-8x22B-KTO，主打推理能力。

官方測(cè)試中，Eurux-8x22B 在 LeetCode（180 道 LeetCode 編程真題）與 TheoremQA （IT之家注：美國大學(xué)水準(zhǔn)的 STEM 題目）測(cè)試上超越了 Llama3-70B，在 LeetCode 測(cè)試上超越閉源的 GPT-3.5-Turbo。

據(jù)介紹，Eurux-8x22B 模型激活參數(shù) 39B，支持 64k 上下文，是由 Mixtral-8x22B 模型對(duì)齊而來，在 UltraInteract 對(duì)齊數(shù)據(jù)集上訓(xùn)練而成。

UltraInteract 是專門設(shè)計(jì)用于提升大模型推理能力的大規(guī)模、高質(zhì)量的對(duì)齊數(shù)據(jù)集，包含了覆蓋數(shù)學(xué)、代碼和邏輯推理問題的 12 個(gè)開源數(shù)據(jù)集的 86K 條指令和 220K 偏好對(duì)，共有五十萬條左右數(shù)據(jù)。

廣告聲明：文內(nèi)含有的對(duì)外跳轉(zhuǎn)鏈接（包括不限于超鏈接、二維碼、口令等形式），用于傳遞更多信息，節(jié)省甄選時(shí)間，結(jié)果僅供參考，IT之家所有文章均包含本聲明。