让 ChatGPT 长“手”，Meta 爆火新论文，让语言模型学会自主使用工具
ChatGPT 爆火，Meta 也坐不住了。
微軟和谷歌正在搜索引擎那邊刺刀拼刺刀呢，誰想 Meta 冷不防拋出一篇新論文，頓時吸引全場目光：
瞄準 ChatGPT 的“軟肋”，讓大語言模型自行學會了使用工具！
簡單來說，基于 Meta 的這個思路，ChatGPT 這些大語言模型可以缺啥補啥：
不會算數，就自己掏出計算器計算；需要最新信息，就自己連接搜索引擎搜索……
是不是有點 AI 自己操作自己內味兒了？
論文一出，不少 AI 研究者就將其視作“過去幾周里最重要的論文”。
這篇論文給人們打開了思路，讓大語言模型未來可以成為所有事情的起點。
還有網友表示：我老婆原本不太關心 AI，聽說 Meta 這論文都驚了。普通人真的得好好想想這事兒了。
自學工具用法的大語言模型
這一回，Meta 給這個會使工具的語言模型起名 Toolformer。
Toolformer 的內核邏輯，總結下來很簡單，就是：
專業的任務交給專業的工具來做。
在生成文本的過程中，遇到特定的任務，Toolformer 會直接調用所需工具的 API。
比如說，在執行這個任務：1400 名參與者，有 400 人通過了測試，占多大比例？（為了讓 ChatGPT 掌握數學運算，OpenAI 可沒少折騰，詳見量子位：ChatGPT 連夜迭代：你老婆不好使了）
Toolformer 絲毫不慌，直接“掏出”計算器，現場計算得出結果：29%。
又或者說，想要備注個事情，只知道是周五，具體日期還不知道？
沒關系，翻出日歷查一下就好了。
甚至翻譯任務也可以直接丟給它，各國語言都能夠識別并翻譯，直接省去了在軟件切換語言的工夫。
除了這些工具之外，Toolformer 還能夠調用 Q&A 以及搜索引擎等工具。
這時，就已經有網友開始暢想未來了：
現在，ChatGPT 版必應能幫你比較酒店價格，那未來有了 Toolformer，預定性價比高的酒店豈不是也可以甩給 AI 去做了。
不過話說回來，Toolformer 面對不同的任務都能行云流水般地調用對應的工具，它是怎么做到的呢？
一言以蔽之，Toolformer 經過訓練，能夠在生成文本中插入 API 調用，直接將任務外包出去。
在這其中，訓練的過程是以自監督的方式完成的。這意味著無需大量人類標注好的數據，Toolformer 只需要少量演示就能學會調用 API。
具體來說，先給 Toolformer 提供少量已經手動標注好的例子，然后讓語言模型在實踐中生成一個更大的包含示例的數據集。
這個過程主要分成三步：
首先是取樣，通俗點講就是看輸入的文本提示中，哪個地方需要調用哪種工具，然后直接將“調用的 API”插入到對應的地方；
其次是執行，執行上一步的“調用 API”任務，將生成的文本直接插入進去；
最后是過濾，上一步中工具生成的文本如果對輸入文本來說用處不大的話，就可以直接 pass 掉，保留對文本有用的地方。
這樣一來，基于這些有用的數據集，Toolformer 便可以對預先訓練好的大語言模型進行微調。
講了這么多，Toolformer 的真實效果到底如何，有沒有一個橫向的數據對比？
論文將 Toolformer 和多個其他大語言模型，包括 GPT-J，OPT（66B）以及 GPT-3（175B）進行了對比，比較了它們在數學、Q&A 以及機器翻譯等方面的能力。
結果顯示，在學習使用工具后，GPT-J 的零樣本學習性能的到了顯著的提高。
△Toolformer：是在 GPT- J 上微調，并加強了 CCNet 子集中的 API 調用/ Toolformer （disabled）：同上，但解碼期間禁用 API 調用
并且在大多數任務上性能都有明顯提高，在一些下游任務中 Toolformer 甚至已經超過了 GPT-3。
“未來大語言模型發展的重要分支”
說到這里，不知道你怎么看這件事兒。
有不少網友是已經按捺不住，想著去拔 AI 電源了。
而引發更多討論的，是這樣一種觀點：Toolformer 可能是未來 LLM（大語言模型）發展的一個重要分支。
大語言模型進化出使用工具的能力，知道應該在何時、使用何種工具來實現需求，也就意味著許多在今天還需要人類和 AI 協作完成的工作，未來 AI 都能自己搞定了。
比如現在還多少有些“人工智障”的語音助手，如果背后有 ChatGPT+Toolformer 的技術能力支撐，那么從挑選符合需求的餐廳，到直接訂座，這一系列動作都可以被絲滑地串聯起來。
又比如微軟的必應搜索接入 ChatGPT。如果這些大語言模型能充分調用各種 API、使用 UI，那它不僅能幫人們完成搜索，還能完全改變人們操作網頁的方式 —— 一切輸入都可以化簡為自然語言。
甚至，ChatGPT 這樣的模型，借助各種 API 重寫自己的代碼，也將成為可能。
事實上，讓 AI 掌握工具的使用方法這個研究方向，也并不只有 Meta 在做。
比如谷歌即將嵌入到搜索中的 Bard，背后模型 LaMDA 就內置了一套工具箱，包括計算器、翻譯器和訪問搜索引擎獲取外部信息的接口。
還有開源項目 LangChain，也致力于將大語言模型與外部的計算、知識來源相結合，以開發真正可用的應用程序。
而現在，Meta 又使大模型對工具的使用“熟練度”、“自主性”，更上一層樓。
不過，也有網友指出，Toolformer 所展現出的“自學”能力，還是一個初級、“狹義”的版本。
這些模型本身仍然是純粹的函數：給定相同的輸入（包括采樣時的隨機值），它將總是產生相同的輸出。
有點像是在說，一個大語言模型能學會將特定領域的語言作為其自然語言的一部分，以此納入來自外部工具的知識。
One More Thing
Meta 新論文炸場，還挑動了人類的“反思”神經。
這不，新鮮梗圖已經出爐：
人類在沉迷，而機器在學習。
論文地址：
https://arxiv.org/abs/2302.04761
參考鏈接：
-
[1]https://twitter.com/timo_schick/status/1624058382142345216
-
[2]https://twitter.com/mathemagic1an/status/1624870248221663232
-
[3]https://twitter.com/Tisoga/status/1624543837745192960
本文來自微信公眾號：量子位 （ID：QbitAI），作者：魚羊 Pine
總結
以上是生活随笔為你收集整理的让 ChatGPT 长“手”，Meta 爆火新论文，让语言模型学会自主使用工具的全部內容，希望文章能夠幫你解決所遇到的問題。
- 上一篇： 长安渝北工厂机器人_探秘长安UNI-T生
- 下一篇： 油烟机选择指标