ControlNet 作者新作，玩兒得人直呼過(guò)癮，剛開源就攬星 1.2k。用于操縱圖像照明效果的 IC-Light，全稱 lmposing Consistent Light。
玩法很簡(jiǎn)單：
上傳任意一張圖，系統(tǒng)會(huì)自動(dòng)分離人物等主體，選擇光源位置，填上提示詞，就能毫無(wú)破綻地融入新環(huán)境了！
趕緊來(lái)個(gè)王家衛(wèi)式的打光：
不喜歡？
沒(méi)關(guān)系，換成窗外打進(jìn)來(lái)的自然光，也就分分鐘的事。
目前，IC-Light 提供兩類模型：文本條件重照明模型，還有背景條件模型。
兩種模型都需要以前景圖像作為輸入。
鑒于之前 Controlnet 太好玩兒，這次 IC-Light 一出現(xiàn)就頗受關(guān)注，還有網(wǎng)友迅速做出了 ComfyUI 插件。
（疑惑，大家這么拼，都不睡覺(jué)的嗎？？）
不管是期待值還是用后體驗(yàn)，網(wǎng)友給得都很高：
Nice！迫不及待要上手玩了嘻嘻嘻嘻。
誰(shuí)能幫我把這圖換個(gè)背景？
從遠(yuǎn)古 MCN 到貼吧再到現(xiàn)在小紅書，各個(gè)時(shí)代，都不乏“誰(shuí)能幫我換張背景”這種求助貼。
但熱心網(wǎng)友的幫助，往往是這樣子的：
就離譜。
不過(guò)說(shuō)實(shí)在話，這種需求不僅存在于你我普通人之間，電商做商品海報(bào)，也常常有類似的需求。
有了 IC-Light，好像一切都變得簡(jiǎn)單起來(lái)。
上傳主體原圖 + 選擇光源位置 + 提示詞，完事兒。
來(lái)看效果 ——
這樣一張佛像原圖，加上提示詞“佛像、細(xì)致的臉部、科幻 RGB 發(fā)光、賽博朋克”，再選擇“光從左側(cè)打來(lái)”。
就能得到一張嶄新的成品：
哪怕是日常場(chǎng)景也是適用的。
最后出的效果肉眼看還是比較自然：
根據(jù)網(wǎng)友分享的測(cè)評(píng)，動(dòng)漫場(chǎng)景也適用……
背后技術(shù)
如前所說(shuō)，IC-Light 現(xiàn)在提供兩類模型，兩種模型都需要以前景圖像作為輸入。
一類是文本條件重照明模型。
簡(jiǎn)單來(lái)說(shuō)就是用戶可以通過(guò)輸入提示詞來(lái)搞定生成。
比如輸入“左側(cè)光線”“月光”等，模型會(huì)通過(guò)這些提示詞和初始潛變量，來(lái)生成符合要求和特征的圖像。
另一類是背景條件模型。
這種就更簡(jiǎn)單了，不需要復(fù)雜的提示詞，模型結(jié)合背景提示信息，對(duì)前景的物體進(jìn)行不同風(fēng)格的光照變化。
而其背后的技術(shù)原理，是通過(guò)潛在空間的一致性，確保模型輸出在不同光源組合下具有一致性，從而可以穩(wěn)定地合成各種光照效果。
具體如下 ——
在 HDR 空間中，所有照明的光線傳輸都彼此獨(dú)立，不同光源的外觀混合效果與多光源直接作用下的外觀在數(shù)學(xué)上（也就是理想狀態(tài)下）是一致的。
以上面這張圖的燈光階段為例，來(lái)自“外觀混合”和“光源混合”的兩個(gè)圖像是一致的，（理想情況下，在 HDR 空間中數(shù)學(xué)上等效）。
因此，在訓(xùn)練重新照明模型時(shí)，研究人員在潛在空間中使用多層感知機(jī)（MLP）讓不同光源的組合和傳輸具有一致性，并用來(lái)指導(dǎo)生成效果。
最終產(chǎn)生高度一致的重新光照效果。
由于模型使用了潛在擴(kuò)散技術(shù)，因此可以在潛在空間內(nèi)實(shí)現(xiàn)學(xué)習(xí)和重光照操作，從而在各種光照條件下產(chǎn)生高度一致的效果。
這些結(jié)果非常一致 —— 盡管在訓(xùn)練時(shí)，模型沒(méi)有直接使用法線圖數(shù)據(jù)，但可以將不同的重新光照合并為法線貼圖。
看下面這張圖，從左到右依次是輸入、模型輸出、重新照明、分割的陰影圖像和合并的法線貼圖。
感興趣的小伙伴可以前往下面地址試玩兒?jiǎn)选?/p>
GitHub 直通車：
https://github.com/lllyasviel/IC-Light?tab=readme-ov-file
本文來(lái)自微信公眾號(hào)：量子位 （ID：QbitAI），作者：?衡宇
廣告聲明：文內(nèi)含有的對(duì)外跳轉(zhuǎn)鏈接（包括不限于超鏈接、二維碼、口令等形式），用于傳遞更多信息，節(jié)省甄選時(shí)間，結(jié)果僅供參考，IT之家所有文章均包含本聲明。