IT之家 1 月 12 日消息,中國電信 1 月 10 日宣布開源星辰語義大模型 TeleChat-7B 版本,并開放 1T 清洗數(shù)據(jù)集。此外,中國電信還將在 1 月 20 日開源 12B 版本模型,擁抱更多開發(fā)者共建開源大模型生態(tài)。
據(jù)介紹,星辰語義大模型是由中電信人工智能科技有限公司研發(fā)訓練的大語言模型,采用 1.5 萬億 Tokens 中英文語料進行訓練。星辰語義大模型在業(yè)界首次提出緩解多輪幻覺的解決方案,通過關(guān)鍵信息注意力增強、知識圖譜強化、多輪知識強化、知識溯源能力四大技術(shù),將 AI 大模型的幻覺率降低了 40%,有助于大模型變得更有“人味”,理解問題語境,告別風馬牛不相及的答案。
在中國電信內(nèi)部,星辰語義大模型用于行文寫作、代碼編程、網(wǎng)絡(luò)故障分析以及經(jīng)營分析等場景,以行文寫作為例,其平均生成字數(shù)超過 1500 字,有效采納率達到 85.7%;在對外企事業(yè)單位客戶的業(yè)務中,星辰語義大模型用于企業(yè)經(jīng)營分析、政務公開咨詢、民生訴求接待等場景,其業(yè)務覆蓋率達到 95%,多輪理解準確率達到 90%。
早在 2023 年 11 月,中國電信就在 2023 數(shù)字科技生態(tài)大會上發(fā)布了千億參數(shù)“星辰語義大模型”,并公布了后續(xù)的開源開放的時間表。IT之家發(fā)現(xiàn),本次 TeleChat-7B 版本開源了對話模型 TeleChat-7B-bot,以及其 huggingface 格式的權(quán)重文件。此外,還開源了 7B 模型的 int8 和 int4 量化版本。
在模型開發(fā)上,星辰語義大模型已與華為昇騰 AI 基礎(chǔ)軟硬件完成適配:支持 Atlas 300I pro 推理卡,具備 int8 量化能力;支持 Atlas 訓練服務器,用戶可使用昇思 MindSpore 和 PyTorch 框架進行模型訓練和推理。
Github 開源地址:
Gitee 地址:
廣告聲明:文內(nèi)含有的對外跳轉(zhuǎn)鏈接(包括不限于超鏈接、二維碼、口令等形式),用于傳遞更多信息,節(jié)省甄選時間,結(jié)果僅供參考,IT之家所有文章均包含本聲明。