設(shè)置
  • 日夜間
    隨系統(tǒng)
    淺色
    深色
  • 主題色

統(tǒng)信發(fā)布中國首款操作系統(tǒng)級(jí)端側(cè)模型 UOS LM,支持問答、翻譯、創(chuàng)作等

2024/8/8 19:49:10 來源:IT之家 作者:浩渺 責(zé)編:浩渺
感謝IT之家網(wǎng)友 有鯽雪狐 的線索投遞!

IT之家 8 月 8 日消息,統(tǒng)信軟件今日宣布,中國首款操作系統(tǒng)級(jí)端側(cè)模型 UOS LM 正式發(fā)布。目前,UOS LM 端側(cè)模型面向所有統(tǒng)信 UOS 社區(qū)版(deepin V23)用戶發(fā)起定向邀約內(nèi)測,添加 deepin 小助手申請(qǐng)內(nèi)測資格。

為保證流暢體驗(yàn),統(tǒng)信推薦以下硬件性能:

  • 1.5B 模型:內(nèi)存 2G,GPU 顯存 4G,10TOPS

  • 7B 模型:內(nèi)存 8G,GPU 顯存 10G,20TOPS

對(duì)于個(gè)人用戶,UOS LM V1.0 版本實(shí)現(xiàn)本地文檔構(gòu)建知識(shí)庫,并通過向量數(shù)據(jù)庫支持基于語義的相似性搜索和向量分析操作,幫助用戶通過 UOS AI 桌面智能助手實(shí)現(xiàn)問答、翻譯、創(chuàng)作等功能。

對(duì)于組織用戶,UOS LM V1.0 版本針對(duì)組織用戶的原始文檔,知識(shí)庫系統(tǒng)的處理總共分為五個(gè)部分,分別是文檔預(yù)處理、文本智能分塊、向量化計(jì)算、向量索引構(gòu)建、元數(shù)據(jù)索引文件的保存和調(diào)用。

IT之家匯總?cè)缦拢?/p>

  • 文檔預(yù)處理階段,知識(shí)庫系統(tǒng)可提取各類格式文檔的文本內(nèi)容,如 txt、docx、xlsx、ppt、pdf 等文本格式,并對(duì)文本進(jìn)行清洗、過濾,準(zhǔn)備進(jìn)行文本分塊;

  • 文本智能分塊階段,對(duì)文本四種切分方式,如固定長度切分、段切分、句切分、語義切分,盡量平衡分塊個(gè)數(shù)和語義信息的完整性;

  • 向量化計(jì)算階段,顧名思義,就是將文本轉(zhuǎn)化為向量的過程。主要作用是進(jìn)行語義表征,向量檢索就是使用查詢文本的向量和向量數(shù)據(jù)庫中的向量進(jìn)相似性計(jì)算;

  • 向量索引構(gòu)建階段,分為全量索引、倒排索引、乘積量化索引、乘積量化加倒排索引四種方式,主要目的是將文本向量化計(jì)算出來的結(jié)果通過不同的索引方式組合,得到一個(gè)最優(yōu)的檢索性能和存儲(chǔ)空間兼顧的向量索引庫;

  • 元數(shù)據(jù)索引文件的保存和調(diào)用階段,將向量化索引數(shù)據(jù)作為結(jié)構(gòu)體數(shù)據(jù)來存儲(chǔ)到電腦中,并通過向量化檢索和大模型處理檢索結(jié)果后,輸出用戶檢索的內(nèi)容。

對(duì)于開發(fā)者,UOS LM 提供了豐富的功能和靈活的擴(kuò)展性,并提供了強(qiáng)大的文檔支持,助力開發(fā)者簡化 AI 應(yīng)用開發(fā)流程,加速行業(yè)應(yīng)用、業(yè)務(wù)系統(tǒng)的開發(fā),拓展 AI 應(yīng)用場景。

AI SDK 提供三個(gè)層面的接口能力:

  • AI 業(yè)務(wù)插件(AI-Plugin):靈活的 AI 業(yè)務(wù)插件能力,具備系統(tǒng)級(jí)和應(yīng)用級(jí)調(diào)用配置,三方應(yīng)用可注冊(cè)自己功能接口進(jìn)入 AI 推理邏輯。

  • AI 接口能力(DTK AI):面向編程的 DTK AI 接口能力,提供文件搜索、問答、總結(jié)、潤色、語音等業(yè)務(wù)能力,減少應(yīng)用開發(fā)工作。

  • AI 模型管理(Modelhub):原生模型接口能力,融合模型原生輸入輸出接口能力,方便用戶調(diào)試自定義提示詞或內(nèi)容解析。

廣告聲明:文內(nèi)含有的對(duì)外跳轉(zhuǎn)鏈接(包括不限于超鏈接、二維碼、口令等形式),用于傳遞更多信息,節(jié)省甄選時(shí)間,結(jié)果僅供參考,IT之家所有文章均包含本聲明。

相關(guān)文章

關(guān)鍵詞:統(tǒng)信,UOS LM,linux

軟媒旗下網(wǎng)站: IT之家 最會(huì)買 - 返利返現(xiàn)優(yōu)惠券 iPhone之家 Win7之家 Win10之家 Win11之家

軟媒旗下軟件: 軟媒手機(jī)APP應(yīng)用 魔方 最會(huì)買 要知