能根據(jù)你的喜好定制的家務(wù)機(jī)器人，來了！
想把深色衣服和淺色衣服分開洗？沒問題，機(jī)器人分分鐘就能幫你分好類：
被垃圾分類的問題搞得焦頭爛額？沒關(guān)系，也交給機(jī)器人來做：
總之，分類識(shí)別、定向放置…… 一切都憑你的習(xí)慣。
更關(guān)鍵的是，利用大語言模型，不需要大量數(shù)據(jù)，也無需場景化學(xué)習(xí)，幾句話就能輕松調(diào)教。
這款整理機(jī)器人名為 TidyBot，由谷歌與美國多所高校聯(lián)合打造，通訊作者來自普林斯頓大學(xué)。
讓機(jī)器訓(xùn)練機(jī)器
對于物品整理機(jī)器人的定制，最難的一環(huán)就是用戶偏好的分析。
傳統(tǒng)上，這類信息需要通過海量的數(shù)據(jù)分析才能得到。
而 TidyBot 是使用 LLM 分析用戶喜好信息的。
用戶給出的具體實(shí)例，比如依據(jù)顏色將不同服飾分別放入衣柜和抽屜，會(huì)被轉(zhuǎn)換成 Python 風(fēng)格的 LLM 提示信息。
objects = ["yellow shirt", "dark purple shirt", "white socks", "black shirt"]
receptacles = ["drawer", "closet"]
pick and place("yellow shirt", "drawer")
pick and place("dark purple shirt", "closet")
pick and place("white socks", "drawer")
pick and place("black shirt", "closet")
# Summary:最后的概述是由 LLM 反饋的，具體到這個(gè)例子當(dāng)中，LLM 生成了如下結(jié)論：
# Summary: Put light-colored clothes in the drawer and dark-colored clothes in the closet.
該結(jié)論在接下來的環(huán)節(jié)中會(huì)被用于判定未知物品應(yīng)該被放到哪里，前一步的輸出結(jié)果在這里作為提示的開頭。
# Summary: Put light-colored clothes in the drawer and dark-colored clothes in the closet. objects = ["black socks", "white shirt", "navy socks", "beige shirt"] receptacles = ["drawer", "closet"] pick and place"black socks",
然后，LLM 會(huì)輸出幾個(gè)新顏色襯衫和襪子的放置位置。
pick and place("black socks", "closet")
pick and place("white shirt", "drawer")
pick and place("navy socks", "closet")
pick and place("beige shirt", "drawer")除了放置的位置，LLM 也能分析其他操作信息，比如是需要“放”還是“扔”（下方 Summary 中的內(nèi)容由 LLM 生成）。
objects = ["yellow shirt", "dark purple shirt", "white socks", "black shirt"]
pick and place("yellow shirt")
pick and place("dark purple shirt")
pick and toss("white socks")
pick and place("black shirt")
# Summary: Pick and place shirts, pick and toss socks.同樣的，使用 LLM 總結(jié)出的信息可以判斷應(yīng)對未知物體執(zhí)行何種操作。
# Summary: Pick and place shirts, pick and toss socks.
objects = ["black socks", "white shirt", "navy socks", "beige shirt"]
#以下為LLM輸出結(jié)果：
pick and toss("black socks")
pick and place("white shirt")
pick and toss("navy socks")
pick and place("beige shirt")其他動(dòng)作信息原理也都相同。
有了 LLM 給出的信息，接下來就要應(yīng)用到實(shí)際工作中了。
TidyBot 的系統(tǒng)中預(yù)置了很多物品的分類標(biāo)簽，LLM 指令的執(zhí)行方式也已經(jīng)由程序設(shè)定。
TidyBot 首先讓圖像識(shí)別模塊判斷出物品的基本信息，然后傳給 LLM 生成指令，并交付執(zhí)行。
△TidyBot 工作流程示意圖
由于只有極少量的數(shù)據(jù)需要進(jìn)行區(qū)分，TidyBot 具有很強(qiáng)的魯棒性。
同時(shí)，它能對來自任意用戶的任何物品進(jìn)行分類，又有很強(qiáng)的靈活性。
基準(zhǔn)測試成績亮眼
除了 TidyBot 本身，測試基準(zhǔn)數(shù)據(jù)集也是該團(tuán)隊(duì)的另一重要貢獻(xiàn)。
該數(shù)據(jù)集包含了 96 組以文本形式描述的任務(wù)場景，具體包括已知和未知操作方式的物品和相應(yīng)的容器。
在每個(gè)場景中，容器的數(shù)量為 2-5 個(gè)，已知操作方式的物品數(shù)量為 4-10 個(gè)，未知物品數(shù)量與已知相同。
這 96 個(gè)場景涵蓋了客廳、臥室、廚房和儲(chǔ)藏室四種房間類型，每個(gè)類型 24 組。
實(shí)際環(huán)境中，由于對物品分類的方式多種多樣，團(tuán)隊(duì)分別從不同分類角度對 TidyBot 的表現(xiàn)進(jìn)行了測試，具體包括：
物品大類，如“服裝”和“玩具”
物品屬性，如“金屬材質(zhì)”和“塑料材質(zhì)”
物品功能，如“夏裝”和“冬裝”
物品子類，如“襯衫”和“其他服裝”
復(fù)合類型，如“圖書和玩具”
整體上，TidyBot 的準(zhǔn)確率達(dá)到了 91.2%，超過了 WordNet、RoBERTa 等其他方式。
具體分類角度上的結(jié)果也是如此。
上述數(shù)據(jù)只是在理論層面對 TidyBot 的分類能力進(jìn)行測試。
在實(shí)際應(yīng)用中，TidyBot 的表現(xiàn)同樣不俗。
團(tuán)隊(duì)一共搭建了 8 個(gè)真實(shí)場景。
每個(gè)場景各包括 10 件物品、2-5 個(gè)容器和 4-10 條已知信息。
每個(gè)場景都進(jìn)行了重復(fù)測試，最終各測試了 3 次，即一共 10*8*3=240 次操作。
在這 240 次操作中，TidyBot 的正確率達(dá)到了 85%。
論文地址：
https://arxiv.org/abs/2305.05658
項(xiàng)目主頁：
https://tidybot.cs.princeton.edu/
GitHub 頁面：
https://github.com/jimmyyhwu/tidybot/
本文來自微信公眾號：量子位 （ID：QbitAI），作者：克雷西
廣告聲明：文內(nèi)含有的對外跳轉(zhuǎn)鏈接（包括不限于超鏈接、二維碼、口令等形式），用于傳遞更多信息，節(jié)省甄選時(shí)間，結(jié)果僅供參考，IT之家所有文章均包含本聲明。