DALL?E 2，這個(gè) AI 竟然自己搞了一套秘密語(yǔ)言。
例如這兩個(gè)非常奇怪的詞組：
Apoploe vesrreaitais（下文簡(jiǎn)稱 A）
Contarra ccetnxniams luryca tanniounons（下文簡(jiǎn)稱 C）
（翻譯軟件都會(huì)崩潰，可以去試試）
但到了 DALL?E 2 這里，畫風(fēng)卻截然不同。在它看來(lái)，A 就是“鳥類”的意思，而 C 則是“害蟲”之意。于是乎，如果給 DALL?E 2 喂上一句：A eat C，那么它的打開方式就會(huì)這樣：
清一色產(chǎn)出的圖片，都是鳥吃害蟲相關(guān)。
而且你要是跟 DALL?E 2 說(shuō)，生成“兩只鯨魚討論食物，帶字幕”，結(jié)果會(huì)是這樣：
圖里的“Wa ch zod rea”，在 DALL?E 2 的詞庫(kù)里竟然是“食物”的意思！此事一經(jīng)曝光，瞬間引發(fā)了眾多網(wǎng)友的熱議。
甚至還有人提出，有了這些秘密語(yǔ)言，可以繞開 DALL?E 2 的“違禁詞過(guò)濾器”，從而生成一些有爭(zhēng)議的圖像了。（搞事情?。?/p>
所以，關(guān)于 DALL?E 2 的秘密咒語(yǔ)，到底是怎么一回事？
一次意外的發(fā)現(xiàn)
發(fā)現(xiàn)這個(gè)問(wèn)題的是國(guó)外一名計(jì)算機(jī)專業(yè)的博士生。
他注意到 DALL-E 2 模型在遇到需要給出帶文字的圖像時(shí)，總是會(huì)出現(xiàn)一些奇怪的單詞。比如輸入這句：“兩個(gè)農(nóng)民談?wù)撌卟?，帶字幕（Two farmers talking about vegetables, with subtitles）”，就出來(lái)這樣一張圖像：
像是挺像的，不過(guò)這字幕寫的啥啊，不是英語(yǔ)又不是法語(yǔ)的，太奇怪了。“你給我翻譯翻譯什么這是？”靈機(jī)一動(dòng)的小哥把其中一個(gè)“單詞”“Vicootes”當(dāng)作描述丟給模型，沒想到，出來(lái)這樣一堆圖像：
有蘿卜、有南瓜、有小柿子…… 難道“Vicootes”就代表蔬菜？有意思。接著他又把氣泡中的那一串“Apoploe vesrreaitais”扔給 DALL-E 2，一堆鳥圖出現(xiàn)了：
“哦我明白了，這個(gè)單詞代表‘鳥’，所以農(nóng)民們似乎在談?wù)撚绊懰麄兪卟说镍B類？”看來(lái) DALL-E 2 沒有糊弄人……
“我發(fā)現(xiàn)了 DALL-E 2 的秘密語(yǔ)言！”小哥驚呼，繼而打算再驗(yàn)證一下這是不是偶然。還是剛才提到的鯨魚討論食物的例子中，小哥把那串“Wa ch zod rea”再輸回去。結(jié)果還真出來(lái)一堆吃的，而且還全是海鮮，符合鯨魚們的“食性”
。
DALL-E 2，真?誠(chéng)不我欺。更進(jìn)一步，他用這些“咒語(yǔ)”搭配形容圖像風(fēng)格的詞，看看 DALL-E 2 是否能正常解析。結(jié)果也都沒問(wèn)題?？纯催@些“手繪鳥“、“卡通鳥”、“3D 鳥”以及“線稿鳥”：
emmmm，最后一張?jiān)趺椿爝M(jìn)來(lái)個(gè)蚊子？先不管它了（一會(huì)再說(shuō)）。所以這個(gè)模型為什么要用這種秘密語(yǔ)言來(lái)表示呢？
為什么會(huì)這樣？
“DALL-E 2 秘密咒語(yǔ)”話題之熱，也引來(lái)了眾多“解析俠”們的關(guān)注。例如一位叫 k1uge 的網(wǎng)友便提出，問(wèn)題出在了 BPE（Byte Pair Encoding）身上。
BPE 是自然語(yǔ)言語(yǔ)言處理中較為重要的編碼方式之一，也是一種常見的 token 壓縮方法，在很多大語(yǔ)言模型中都會(huì)涉及。
它的核心思路就是：
每一步都將最常見的一對(duì)相鄰數(shù)據(jù)單位，替換為該數(shù)據(jù)中沒有出現(xiàn)過(guò)的一個(gè)新單位，反復(fù)迭代直到滿足停止條件。
舉個(gè)例子，如果要壓縮“aaabdaaabac”這個(gè)單詞，BPE 就會(huì)先找出最常見的相鄰字節(jié)對(duì)，即“aa”。找到它之后，就可以用新的字節(jié) Z 去代替，那么這個(gè)單詞就變成了“ZabdZabac”。同理，下一個(gè)最常見相鄰字節(jié)對(duì)是“ab”，用 Y 來(lái)代替，單詞會(huì)進(jìn)一步被壓縮成“ZYdZYac”。再下一個(gè)最常見相鄰字節(jié)對(duì)是“ZY”，用 X 來(lái)替代，最后單詞就變成了“XdXac”。
……
于是，基于這樣的原理，這位網(wǎng)友查了下 DALL-E 2 針對(duì)“鳥類”所用的 BPE。
它是這樣的：apo, plo, e, ,ve, sr, re, ait, ais
而現(xiàn)實(shí)中很多鳥類的拉丁文學(xué)名，就有“apo”和“plo”的前綴。例如 Apodidae（雨燕）和 Ploceidae（織布鳥），這兩個(gè)單詞屬于鳥類的 2 種鳥科，每個(gè)科都有 100 余種。像 Apodiformes（雨燕目）是鳥類中最大的目，共有 400 余種。于是這位網(wǎng)友便認(rèn)為，DALL-E 2 是從標(biāo)有這些“學(xué)術(shù)用語(yǔ)”標(biāo)簽的圖片中，獲取到了關(guān)于鳥類的大部分信息。
或許這就是造成 DALL-E 2 秘密咒語(yǔ)的原因了。
但，事情還有反轉(zhuǎn)
激動(dòng)的博士小哥還專門寫了一篇小論文講述這個(gè)事情，還把這些發(fā)現(xiàn)都發(fā)在了推特上，引來(lái)數(shù)千網(wǎng)友圍觀，令大家直呼“Incredible”。
不過(guò)很快就有人親自去試了一下，發(fā)現(xiàn)好像事情并沒有那么簡(jiǎn)單。比如代表“蟲子”的那一串“Contarra ccetnxniams luryca tanniounons”，除了蟲子，也會(huì)生成一些青蛙、?；蛘啉澴拥膱D像。
如果給這個(gè)描述再加上“cartoon”一詞作為限定，生成的是一些“奶奶”，跟蟲子完全不搭邊？？
“Apoploe vesrreaitais”倒是沒問(wèn)題，出來(lái)的還是一些鳥。
不過(guò)同樣，一旦給它加上“cartoon”“3D render”這類詞，又不對(duì)了，出來(lái)的是一些蟲子。（這和小哥最后那個(gè)例子里出現(xiàn)的蚊子也對(duì)應(yīng)上了。）
代表蔬菜的“Vicootes”也是這樣，單輸沒問(wèn)題，一加上風(fēng)格限定，出現(xiàn)的物種就變了；且基本可以說(shuō)只符合“油畫”“卡通”這些風(fēng)格設(shè)定，跟前面的名詞限定毫無(wú)關(guān)聯(lián)，比如“Vicootes”+“painting”就是一堆純風(fēng)景繪畫。
接著他還用同樣的“兩只鯨魚談?wù)撌澄?，帶字幕”生成了一些圖片，結(jié)果大部分文字都看不清，也沒法轉(zhuǎn)錄。最后找到一張這樣的：
他用上面的”Evve waeles”再輸入后，雖然得到了一張?zhí)瘘c(diǎn)照片，但出現(xiàn)了很多運(yùn)動(dòng)員、動(dòng)物甚至水壺的照片。
還真的有點(diǎn)摸不著頭腦了。于是這位實(shí)驗(yàn)者就表示：在我看來(lái)，這更像是一些隨機(jī)的噪音，而不是 DALL-E 2 的秘密語(yǔ)言。
他艾特了博士小哥，希望他可以再給出相反的證據(jù)。目前小哥還沒有答復(fù)。
不過(guò)這確實(shí)是一個(gè)值得關(guān)注和討論的話題，鑒于一些“咒語(yǔ)”和圖像可以對(duì)上，如果真的是 BPE 碼的話，那么真可能博士小哥所說(shuō)：
有人用“白盒”方法解開這種規(guī)則，拿到一些違禁詞的“咒語(yǔ)”，就可以繞過(guò)模型的過(guò)濾器了。
廣告聲明：文內(nèi)含有的對(duì)外跳轉(zhuǎn)鏈接（包括不限于超鏈接、二維碼、口令等形式），用于傳遞更多信息，節(jié)省甄選時(shí)間，結(jié)果僅供參考，IT之家所有文章均包含本聲明。