IT之家 9 月 19 日消息 今日字節(jié)跳動技術(shù)團(tuán)隊在其官方公眾號發(fā)表文章,介紹了字節(jié)跳動的一項深度學(xué)習(xí)新技術(shù)。深度學(xué)習(xí)模型中的生成式對抗網(wǎng)絡(luò)(GAN),可以用于圖片風(fēng)格遷移、圖像編輯、圖片生成等場景,為畫面以及視頻改變風(fēng)格。
舉例來看,該技術(shù)可以將一匹棕色的馬變成斑馬,或者將莫奈的風(fēng)景畫變成真實的照片。依據(jù)一個 鞋子的輪廓,可以自動生成真實的鞋子圖形。
2020 年,麻省理工學(xué)院、Adobe 和上海交通大學(xué)技術(shù)人員提出一種 GAN 壓縮算法,將算力消耗成功減少到 1/21。
最近,字節(jié)跳動技術(shù)團(tuán)隊推出了一項自研 GAN 壓縮算法,名為“在線多粒度蒸餾技術(shù)”,簡稱 OMGD。這項算法能夠極大降低 CycleGAN 和 Pix2Pix 模型的算力消耗,分別降至原來的 1/40 和 1/46。不僅參數(shù)和計算量更少,圖像生成效果也更好。
上圖的結(jié)果顯示,OMGD 消耗的計算量僅為 1.219G,相比于原始狀態(tài)的 56.8G,計算量大幅減少,生成效果也更優(yōu)。
IT之家了解到,目前 OMGD 技術(shù)已經(jīng)應(yīng)用在多款抖音智能特效中。比如“三屏人生”,可以將過去、現(xiàn)在、未來的自己實時展現(xiàn)在屏幕上。
使用動態(tài)照片功能,可以讓靜態(tài)畫面動起來,表情豐富逼真。
廣告聲明:文內(nèi)含有的對外跳轉(zhuǎn)鏈接(包括不限于超鏈接、二維碼、口令等形式),用于傳遞更多信息,節(jié)省甄選時間,結(jié)果僅供參考,IT之家所有文章均包含本聲明。