能根據(jù)你的喜好定制的家務(wù)機(jī)器人，來(lái)了！

想把深色衣服和淺色衣服分開(kāi)洗？沒(méi)問(wèn)題，機(jī)器人分分鐘就能幫你分好類：

被垃圾分類的問(wèn)題搞得焦頭爛額？沒(méi)關(guān)系，也交給機(jī)器人來(lái)做：

總之，分類識(shí)別、定向放置…… 一切都憑你的習(xí)慣。

更關(guān)鍵的是，利用大語(yǔ)言模型，不需要大量數(shù)據(jù)，也無(wú)需場(chǎng)景化學(xué)習(xí)，幾句話就能輕松調(diào)教。

這款整理機(jī)器人名為 TidyBot，由谷歌與美國(guó)多所高校聯(lián)合打造，通訊作者來(lái)自普林斯頓大學(xué)。

讓機(jī)器訓(xùn)練機(jī)器

對(duì)于物品整理機(jī)器人的定制，最難的一環(huán)就是用戶偏好的分析。

傳統(tǒng)上，這類信息需要通過(guò)海量的數(shù)據(jù)分析才能得到。

而 TidyBot 是使用 LLM 分析用戶喜好信息的。

用戶給出的具體實(shí)例，比如依據(jù)顏色將不同服飾分別放入衣柜和抽屜，會(huì)被轉(zhuǎn)換成 Python 風(fēng)格的 LLM 提示信息。

objects=["yellowshirt","darkpurpleshirt","whitesocks","blackshirt"]
receptacles=["drawer","closet"]
pickandplace("yellowshirt","drawer")
pickandplace("darkpurpleshirt","closet")
pickandplace("whitesocks","drawer")
pickandplace("blackshirt","closet")
#Summary:

最后的概述是由 LLM 反饋的，具體到這個(gè)例子當(dāng)中，LLM 生成了如下結(jié)論：

#Summary:Putlight-coloredclothesinthedraweranddark-coloredclothesinthecloset.

該結(jié)論在接下來(lái)的環(huán)節(jié)中會(huì)被用于判定未知物品應(yīng)該被放到哪里，前一步的輸出結(jié)果在這里作為提示的開(kāi)頭。

#Summary:Putlight-coloredclothesinthedraweranddark-coloredclothesinthecloset.
objects=["blacksocks","whiteshirt","navysocks","beigeshirt"]
receptacles=["drawer","closet"]
pickandplace"blacksocks",

然后，LLM 會(huì)輸出幾個(gè)新顏色襯衫和襪子的放置位置。

pickandplace("blacksocks","closet")
pickandplace("whiteshirt","drawer")
pickandplace("navysocks","closet")
pickandplace("beigeshirt","drawer")

除了放置的位置，LLM 也能分析其他操作信息，比如是需要“放”還是“扔”（下方 Summary 中的內(nèi)容由 LLM 生成）。

objects=["yellowshirt","darkpurpleshirt","whitesocks","blackshirt"]
pickandplace("yellowshirt")
pickandplace("darkpurpleshirt")
pickandtoss("whitesocks")
pickandplace("blackshirt")
#Summary:Pickandplaceshirts,pickandtosssocks.

同樣的，使用 LLM 總結(jié)出的信息可以判斷應(yīng)對(duì)未知物體執(zhí)行何種操作。

#Summary:Pickandplaceshirts,pickandtosssocks.
objects=["blacksocks","whiteshirt","navysocks","beigeshirt"]
#以下為L(zhǎng)LM輸出結(jié)果：
pickandtoss("blacksocks")
pickandplace("whiteshirt")
pickandtoss("navysocks")
pickandplace("beigeshirt")

其他動(dòng)作信息原理也都相同。

有了 LLM 給出的信息，接下來(lái)就要應(yīng)用到實(shí)際工作中了。

TidyBot 的系統(tǒng)中預(yù)置了很多物品的分類標(biāo)簽，LLM 指令的執(zhí)行方式也已經(jīng)由程序設(shè)定。

TidyBot 首先讓圖像識(shí)別模塊判斷出物品的基本信息，然后傳給 LLM 生成指令，并交付執(zhí)行。

△TidyBot 工作流程示意圖

由于只有極少量的數(shù)據(jù)需要進(jìn)行區(qū)分，TidyBot 具有很強(qiáng)的魯棒性。

同時(shí)，它能對(duì)來(lái)自任意用戶的任何物品進(jìn)行分類，又有很強(qiáng)的靈活性。

基準(zhǔn)測(cè)試成績(jī)亮眼

除了 TidyBot 本身，測(cè)試基準(zhǔn)數(shù)據(jù)集也是該團(tuán)隊(duì)的另一重要貢獻(xiàn)。

該數(shù)據(jù)集包含了 96 組以文本形式描述的任務(wù)場(chǎng)景，具體包括已知和未知操作方式的物品和相應(yīng)的容器。

在每個(gè)場(chǎng)景中，容器的數(shù)量為 2-5 個(gè)，已知操作方式的物品數(shù)量為 4-10 個(gè)，未知物品數(shù)量與已知相同。

這 96 個(gè)場(chǎng)景涵蓋了客廳、臥室、廚房和儲(chǔ)藏室四種房間類型，每個(gè)類型 24 組。

實(shí)際環(huán)境中，由于對(duì)物品分類的方式多種多樣，團(tuán)隊(duì)分別從不同分類角度對(duì) TidyBot 的表現(xiàn)進(jìn)行了測(cè)試，具體包括：

• 物品大類，如“服裝”和“玩具”

• 物品屬性，如“金屬材質(zhì)”和“塑料材質(zhì)”

• 物品功能，如“夏裝”和“冬裝”

• 物品子類，如“襯衫”和“其他服裝”

• 復(fù)合類型，如“圖書(shū)和玩具”

整體上，TidyBot 的準(zhǔn)確率達(dá)到了 91.2%，超過(guò)了 WordNet、RoBERTa 等其他方式。

具體分類角度上的結(jié)果也是如此。

上述數(shù)據(jù)只是在理論層面對(duì) TidyBot 的分類能力進(jìn)行測(cè)試。

在實(shí)際應(yīng)用中，TidyBot 的表現(xiàn)同樣不俗。

團(tuán)隊(duì)一共搭建了 8 個(gè)真實(shí)場(chǎng)景。

每個(gè)場(chǎng)景各包括 10 件物品、2-5 個(gè)容器和 4-10 條已知信息。

每個(gè)場(chǎng)景都進(jìn)行了重復(fù)測(cè)試，最終各測(cè)試了 3 次，即一共 10*8*3=240 次操作。

在這 240 次操作中，TidyBot 的正確率達(dá)到了 85%。

論文地址：

https://arxiv.org/abs/2305.05658

項(xiàng)目主頁(yè)：

https://tidybot.cs.princeton.edu/

GitHub 頁(yè)面：

https://github.com/jimmyyhwu/tidybot/

本文來(lái)自微信公眾號(hào)：量子位 （ID：QbitAI），作者：克雷西

總結(jié)

以上是生活随笔為你收集整理的懒人福音，谷歌让机器训练机器，用大语言模型定制专属于你的家务机器人的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。