IT之家 9 月 21 日消息,今年 6 月,上海 AI 實驗室發(fā)布了“書生?浦語”(InternLM)大模型,為 104B 參數,后續(xù)又推出了 7B 和 13B 規(guī)格模型。
近日,上海 AI 實驗室、商湯科技、香港中文大學、復旦大學宣布推出書生?浦語 20B 版本,這是一款中量級大模型,號稱基于 2.3T Tokens 預訓練語料從頭訓練,相較于 InternLM-7B,其理解能力、推理能力、數學能力、編程能力等都有顯著提升。
據介紹,相比于此前國內陸續(xù)開源的 7B 和 13B 規(guī)格模型,20B 量級模型具備更強大的綜合能力,復雜推理和反思能力尤為突出,能為實際應用場景提供更有力的性能支持;同時,20B 量級模型可在單卡上進行推理,經過低比特量化后,可運行在單塊消費級 GPU 上,因而在實際應用中更為便捷。
相比于此前的開源模型,InternLM-20B 擁有幾大亮點,IT之家匯總如下:
以不足 1/3 的參數量,測評成績達到了 Llama2-70B 的水平。
支持數十類插件,上萬個 API 功能,還具備代碼解釋和反思修正能力。
實現了對長文理解、長文生成和超長對話的有效支持,同時支持 16K 語境長度。
研究團隊進行了基于 SFT 和 RLHF 兩階段價值對齊,并通過專家紅隊的對抗訓練大幅提高其安全性。
此外,書生?浦語開源工具鏈也已全新升級,形成更完善的體系,包括預訓練框架 InternLM-Train、低成本微調框架 XTuner、部署推理框架 LMDeploy、評測框架 OpenCompass 以及面向場景應用的智能體框架 Lagent。
書生?浦語-20B:
https://modelscope.cn/models/Shanghai_AI_Laboratory/internlm-20b
書生?浦語-對話-20B:
https://modelscope.cn/models/Shanghai_AI_Laboratory/internlm-20b-chat
廣告聲明:文內含有的對外跳轉鏈接(包括不限于超鏈接、二維碼、口令等形式),用于傳遞更多信息,節(jié)省甄選時間,結果僅供參考,IT之家所有文章均包含本聲明。