IT之家 8 月 8 日消息，統(tǒng)信軟件今日宣布，中國首款操作系統(tǒng)級(jí)端側(cè)模型 UOS LM 正式發(fā)布。目前，UOS LM 端側(cè)模型面向所有統(tǒng)信 UOS 社區(qū)版（deepin V23）用戶發(fā)起定向邀約內(nèi)測，添加 deepin 小助手申請(qǐng)內(nèi)測資格。
為保證流暢體驗(yàn)，統(tǒng)信推薦以下硬件性能：
1.5B 模型：內(nèi)存 2G，GPU 顯存 4G，10TOPS
7B 模型：內(nèi)存 8G，GPU 顯存 10G，20TOPS
對(duì)于個(gè)人用戶，UOS LM V1.0 版本實(shí)現(xiàn)本地文檔構(gòu)建知識(shí)庫，并通過向量數(shù)據(jù)庫支持基于語義的相似性搜索和向量分析操作，幫助用戶通過 UOS AI 桌面智能助手實(shí)現(xiàn)問答、翻譯、創(chuàng)作等功能。
對(duì)于組織用戶，UOS LM V1.0 版本針對(duì)組織用戶的原始文檔，知識(shí)庫系統(tǒng)的處理總共分為五個(gè)部分，分別是文檔預(yù)處理、文本智能分塊、向量化計(jì)算、向量索引構(gòu)建、元數(shù)據(jù)索引文件的保存和調(diào)用。
IT之家匯總?cè)缦拢?/p>
文檔預(yù)處理階段，知識(shí)庫系統(tǒng)可提取各類格式文檔的文本內(nèi)容，如 txt、docx、xlsx、ppt、pdf 等文本格式，并對(duì)文本進(jìn)行清洗、過濾，準(zhǔn)備進(jìn)行文本分塊；
文本智能分塊階段，對(duì)文本四種切分方式，如固定長度切分、段切分、句切分、語義切分，盡量平衡分塊個(gè)數(shù)和語義信息的完整性；
向量化計(jì)算階段，顧名思義，就是將文本轉(zhuǎn)化為向量的過程。主要作用是進(jìn)行語義表征，向量檢索就是使用查詢文本的向量和向量數(shù)據(jù)庫中的向量進(jìn)相似性計(jì)算；
向量索引構(gòu)建階段，分為全量索引、倒排索引、乘積量化索引、乘積量化加倒排索引四種方式，主要目的是將文本向量化計(jì)算出來的結(jié)果通過不同的索引方式組合，得到一個(gè)最優(yōu)的檢索性能和存儲(chǔ)空間兼顧的向量索引庫；
元數(shù)據(jù)索引文件的保存和調(diào)用階段，將向量化索引數(shù)據(jù)作為結(jié)構(gòu)體數(shù)據(jù)來存儲(chǔ)到電腦中，并通過向量化檢索和大模型處理檢索結(jié)果后，輸出用戶檢索的內(nèi)容。
對(duì)于開發(fā)者，UOS LM 提供了豐富的功能和靈活的擴(kuò)展性，并提供了強(qiáng)大的文檔支持，助力開發(fā)者簡化 AI 應(yīng)用開發(fā)流程，加速行業(yè)應(yīng)用、業(yè)務(wù)系統(tǒng)的開發(fā)，拓展 AI 應(yīng)用場景。
AI SDK 提供三個(gè)層面的接口能力：
AI 業(yè)務(wù)插件（AI-Plugin）：靈活的 AI 業(yè)務(wù)插件能力，具備系統(tǒng)級(jí)和應(yīng)用級(jí)調(diào)用配置，三方應(yīng)用可注冊(cè)自己功能接口進(jìn)入 AI 推理邏輯。
AI 接口能力（DTK AI）：面向編程的 DTK AI 接口能力，提供文件搜索、問答、總結(jié)、潤色、語音等業(yè)務(wù)能力，減少應(yīng)用開發(fā)工作。
AI 模型管理（Modelhub）：原生模型接口能力，融合模型原生輸入輸出接口能力，方便用戶調(diào)試自定義提示詞或內(nèi)容解析。
廣告聲明：文內(nèi)含有的對(duì)外跳轉(zhuǎn)鏈接（包括不限于超鏈接、二維碼、口令等形式），用于傳遞更多信息，節(jié)省甄選時(shí)間，結(jié)果僅供參考，IT之家所有文章均包含本聲明。