提升 1.5~20 倍吞吐量，字節(jié)豆包大模型團(tuán)隊(duì)與香港大學(xué)發(fā)布并開源全新 RLHF 框架

IT之家 11 月 3 日消息，字節(jié)跳動(dòng)豆包大模型團(tuán)隊(duì)與香港大學(xué)公開聯(lián)合研究成果 —— HybridFlow。

官方宣稱，HybridFlow（開源項(xiàng)目名：veRL）是一個(gè)靈活且高效的大模型 RL 訓(xùn)練框架，兼容多種訓(xùn)練和推理框架，支持靈活的模型部署和多種 RL 算法實(shí)現(xiàn)。

該框架采用混合編程模型，融合單控制器（Single-Controller）的靈活性和多控制器（Multi-Controller）的高效性，可更好實(shí)現(xiàn)和執(zhí)行多種 RL 算法，顯著提升訓(xùn)練吞吐量，降低開發(fā)和維護(hù)復(fù)雜度。

實(shí)驗(yàn)結(jié)果表明，HybridFlow 在各種模型規(guī)模和 RL 算法下，訓(xùn)練吞吐量相比其他框架提升了 1.5 倍至 20 倍。

目前，該論文已被 EuroSys 2025 接收，代碼倉(cāng)庫(kù)也對(duì)外公開，IT之家附相關(guān)鏈接如下：

• 論文鏈接：https://arxiv.org/abs/2409.19256

• 代碼鏈接：https://github.com/volcengine/veRL

廣告聲明：文內(nèi)含有的對(duì)外跳轉(zhuǎn)鏈接（包括不限于超鏈接、二維碼、口令等形式），用于傳遞更多信息，節(jié)省甄選時(shí)間，結(jié)果僅供參考，IT之家所有文章均包含本聲明。