IT之家 6 月 28 日消息 今日，字節(jié)跳動(dòng)火山翻譯團(tuán)隊(duì)宣布推出 LightSeq 訓(xùn)練加速引擎，并向全球開(kāi)發(fā)者開(kāi)源。
Transformer 是自然語(yǔ)言處理、計(jì)算機(jī)視覺(jué)等 AI 技術(shù)領(lǐng)域最常用的基礎(chǔ)模型，被廣泛應(yīng)用在機(jī)器翻譯、文本生成、文本摘要、圖像處理、時(shí)間序列預(yù)測(cè)等任務(wù)中。訓(xùn)練和推理則是 AI 技術(shù)的兩個(gè)主要過(guò)程，相當(dāng)于學(xué)習(xí)知識(shí)和解決問(wèn)題。
據(jù)悉，LightSeq 訓(xùn)練加速引擎能夠支持 Transformer 的完整加速，從詞嵌入層、編碼層、解碼層，到最后的損失函數(shù)層，業(yè)內(nèi)首次實(shí)現(xiàn)了全流程支持。而且 LightSeq 的訓(xùn)練速度極快，相比主流的序列生成庫(kù)，LightSeq 最快只需要三分之一的時(shí)間就能完成訓(xùn)練。
根據(jù)公開(kāi)報(bào)道，字節(jié)跳動(dòng)現(xiàn)在已經(jīng)開(kāi)源了機(jī)器學(xué)習(xí)平臺(tái) Klever、聯(lián)邦學(xué)習(xí)平臺(tái) Fedlearner、高性能分布式訓(xùn)練框架 BytePS 等重磅項(xiàng)目。
廣告聲明：文內(nèi)含有的對(duì)外跳轉(zhuǎn)鏈接（包括不限于超鏈接、二維碼、口令等形式），用于傳遞更多信息，節(jié)省甄選時(shí)間，結(jié)果僅供參考，IT之家所有文章均包含本聲明。