Stable Diffusion 插件、“AI 繪畫細(xì)節(jié)控制大師”ControlNet 迎來(lái)重磅更新：
只需使用文本提示詞，就能在保持圖像主體特征的前提下，任意修改圖像細(xì)節(jié)。
比如給美女從頭發(fā)到衣服都換身造型，表情更親和一點(diǎn)：
抑或是讓模特從甜美鄰家女孩切換到高冷御姐，身體和頭部的朝向、背景都換個(gè)花樣兒：
—— 不管細(xì)節(jié)怎么修改，原圖的“靈魂”都還在。
除了這種風(fēng)格，動(dòng)漫類型的它也能駕馭得恰到好處：
來(lái)自推特的 AI 設(shè)計(jì)博主 @sundyme 就稱：
效果比想象得要好！
只需要一張參考圖就能完成以上轉(zhuǎn)變，部分圖片幾乎可以達(dá)到定制大模型的效果了。
咳咳，各位 AI 繪畫圈的朋友們，打起精神來(lái)，又有好玩的了。
（ps. 第一三張效果圖來(lái)自油管博主 @Olivio Sarikas，第二張來(lái)自推特博主 @sundyme）
ControlNet 上新：保留原圖畫風(fēng)的修圖功能
以上更新內(nèi)容，其實(shí)指的是一個(gè)叫作“reference-only”的預(yù)處理器。
它不需要任何控制模型，直接使用參考圖片就能引導(dǎo)擴(kuò)散。
作者介紹，這個(gè)功能其實(shí)類似于“inpaint”功能，但不會(huì)讓圖像崩壞。
（Inpaint 是 Stable Diffusion web UI 中的一個(gè)局部重繪功能，可以將不滿意、也就是被手工遮罩的地方進(jìn)行重新繪制。）
一些資深玩家可能都知道一個(gè) trick，就是用 inpaint 來(lái)進(jìn)行圖像擴(kuò)散。
比如你有一張 512x512 的狗的圖像，然后想用同一只狗生成另一張 512x512 的圖像。
這時(shí)你就可以將 512x512 的狗圖像和 512x512 的空白圖像連接到一張 1024x512 的圖像中，然后使用 inpaint 功能，mask 掉空白的 512x512 部分，漫射出具有相似外觀的狗的形象。
在這個(gè)過(guò)程中，由于圖像只是簡(jiǎn)單粗暴的進(jìn)行拼接，加上還會(huì)出現(xiàn)失真現(xiàn)象，所以效果一般都不盡如人意。
有了“reference-only”就不一樣了：
它可以將 SD（即“Stable Diffusion”）的注意力層直接鏈接到任何獨(dú)立的圖像，方便 SD 直接讀取這些圖像作為參考。
也就是說(shuō)，現(xiàn)在你想要在保持原圖風(fēng)格的前提下進(jìn)行修改，使用提示詞直接在原圖上就能操作。
如官方示例圖將一只靜立的小狗改成奔跑動(dòng)作：
你只需要將你的 ControlNet 升級(jí)到 1.1.153 版本以上，然后選擇“reference-only”作為預(yù)處理器，上傳狗的圖片，輸入提示詞“a dog running on grassland, best quality……”，SD 就只會(huì)用你的這張圖作為參考進(jìn)行修改了。
網(wǎng)友：ControlNet 迄今最好的一個(gè)功能
“reference-only”功能一出，有不少網(wǎng)友就上手體驗(yàn)了。
有人稱這是 ControlNet 迄今為止最棒的一個(gè)功能：
傳一張帶有人物姿勢(shì)的動(dòng)漫圖片，再寫一句看上去跟原圖完全無(wú)關(guān)的提示。突然之間，你想要的效果就在原圖的基礎(chǔ)上跑出來(lái)了。真的很強(qiáng)，甚至說(shuō)是達(dá)到了改變游戲規(guī)則的程度。
還有人稱：
是時(shí)候把以前丟棄的廢圖都撿回來(lái)重新修復(fù)一下了。
當(dāng)然，認(rèn)為它也不是那么完美也有（比如開頭第一張效果圖里美女的耳環(huán)不對(duì)，二張圖里頭發(fā)也都是殘缺的），但網(wǎng)友還是表示“總歸方向是對(duì)了”。
以下是三位推特博主嘗試的效果，主要都是動(dòng)漫風(fēng)，一起欣賞一下：
有沒(méi)有戳中你的心巴？
參考鏈接：
[1]https://github.com/Mikubill/sd-webui-controlnet/discussions/1236
[2]https://twitter.com/sundyme/status/1657605321052012545
[3]https://twitter.com/uoyuki667/status/1657748719155167233
[4]https://twitter.com/br_d/status/1657926233068556289
[5]https://twitter.com/aiilustnews/status/1657941855773003776
本文來(lái)自微信公眾號(hào)：量子位 （ID：QbitAI），作者：豐色
廣告聲明：文內(nèi)含有的對(duì)外跳轉(zhuǎn)鏈接（包括不限于超鏈接、二維碼、口令等形式），用于傳遞更多信息，節(jié)省甄選時(shí)間，結(jié)果僅供參考，IT之家所有文章均包含本聲明。