IT之家 6 月 20 日消息，B站昨日開(kāi)源了輕量級(jí) Index-1.9B 系列模型，包含基座模型、對(duì)照組、對(duì)話模型、角色扮演模型等多個(gè)版本。
IT之家附官方簡(jiǎn)介：
Index-1.9B base ： 基座模型，具有 19 億非詞嵌入?yún)?shù)量，在 2.8T 中英文為主的語(yǔ)料上預(yù)訓(xùn)練，多個(gè)評(píng)測(cè)基準(zhǔn)上與同級(jí)別模型比處于領(lǐng)先。
Index-1.9B pure ： 基座模型的對(duì)照組，與 base 具有相同的參數(shù)和訓(xùn)練策略，不同之處在于嚴(yán)格過(guò)濾了該版本語(yǔ)料中所有指令相關(guān)的數(shù)據(jù)，以此來(lái)驗(yàn)證指令對(duì) benchmark 的影響。
Index-1.9B chat ：基于 index-1.9B base 通過(guò) SFT 和 DPO 對(duì)齊后的對(duì)話模型，由于預(yù)訓(xùn)練中引入了較多互聯(lián)網(wǎng)社區(qū)語(yǔ)料，聊天的趣味性明顯更強(qiáng)。
Index-1.9B character ：在 SFT 和 DPO 的基礎(chǔ)上引入了 RAG 來(lái)實(shí)現(xiàn) fewshots 角色扮演定制。
據(jù)介紹，該模型在預(yù)訓(xùn)練階段使用了 2.8T 規(guī)模的數(shù)據(jù)，中英比例為 4:5，代碼占比 6%。目前，角色扮演模型內(nèi)置了角色“三三”，用戶(hù)也可以按需創(chuàng)建自己的角色。
項(xiàng)目地址：https://github.com/bilibili/Index-1.9B/blob/main/README.md
廣告聲明：文內(nèi)含有的對(duì)外跳轉(zhuǎn)鏈接（包括不限于超鏈接、二維碼、口令等形式），用于傳遞更多信息，節(jié)省甄選時(shí)間，結(jié)果僅供參考，IT之家所有文章均包含本聲明。