這次，科幻電影快要趕不上現實了

作者 | 連冉

編輯 | 鄭玄

即將上映的好萊塢科幻電影《AI 創始者》中，一個原本為人類服務的人工智能在洛杉磯引爆了核彈。

比電影更加科幻的是，現實中，AI 公司們已經開始擔憂起這樣的場景真的出現在現實世界。

近日，OpenAI 表示出于對 AI 系統安全性的考慮，公司正在成立專門團隊應對前沿 AI 可能面臨的「災難性風險」，其中包括核威脅。

事實上，其 CEO Sam Altman 一直擔憂 AI 可能對人類構成「滅絕性」威脅，此前曾在包括美國國會咨詢的多個場合下呼吁加強 AI 類的監管。不過，包括 Meta 科學家 Yann LeCun 在內的一批科學家則對 AI 監管持不同觀點，后者認為當前 AI 能力仍然有限，過早監管不僅只會讓大公司受益，也會扼殺創新。

這突顯了業內對前沿 AI 監管仍存在分歧。監管過早可能會制約技術發展，但缺乏監管又將難以應對風險。如何在技術先行和防范監管間取得平衡，使 AI 既高效發展又安全可控，仍然屬于業界難題。

01、AI，前沿還是危險

近日，OpenAI 在一份更新中表示，出于對 AI 系統安全性的考慮，公司正在組建新團隊「準備就緒（Preparedness）」來跟蹤、評估、預測「前沿模型」的發展，以防止所謂的「災難性風險」，包括網絡安全問題以及化學、核和生物威脅。

該團隊將由 Aleksander Madry 領導，他任 MIT 可部署機器學習中心主任一職，目前處于休假期間。

此外，該團隊的任務還包括制定和維護「風險知情開發政策」，該政策將詳細闡釋 OpenAI 構建 AI 模型評估和監控工具的方法、公司的風險緩解行動以及監督整個模型開發流程的治理結構。該政策旨在補充 OpenAI 在 AI 安全領域的工作，并保持部署前后的安全性與一致性。

OpenAI 提出，管理前沿 AI 模型的可能的災難性風險需要回答以下幾個關鍵問題：

• 前沿 AI 模型被誤用的危險性大??？

• 如何建立健全的監測、評估、預測和防范前沿 AI 模型危險能力的框架？

• 如果前沿 AI 模型被盜用，惡意行為者可能會如何利用它們？

OpenAI 在更新中寫道：「我們相信… 將超越目前最先進模型的前沿 AI 模型，有可能造福全人類… 但它們也會帶來越來越嚴重的風險。」

最近一段時間，OpenAI 不斷強調 AI 的安全問題，并開展了一系列公司層面、輿論層面、甚至政治層面的行動。

此前在 7 月 7 日，OpenAI 宣布成立一個新團隊，旨在探索引導和控制「超級 AI」的方法，團隊由 OpenAI 聯合創始人兼首席科學家 Ilya Sutskever 和 Alignment 負責人 Jan Leike 共同領導。

Sutskever 和 Leike 曾預測，超過人類智慧的人工智能將在 10 年內出現，他們稱，這種人工智能不一定是善良的，因此有必要研究控制和限制它的方法。

根據當時的報道，該團隊被授予最高優先級，并獲得公司 20% 的計算資源支持，他們的目標是在未來四年內解決控制超「超級 AI」的核心技術挑戰。

為了配合此次「準備就緒」團隊的啟動，Open AI 還舉辦了一項挑戰賽，讓外部人士就 AI 可能被如何濫用并在現實世界造成危害的方式提出想法，前 10 名的提交者將獲得 2.5 萬美元的獎金和一份「準備就緒」的工作。

02、關于「AI 可能導致人類滅絕」的擔心

OpenAI 的 CEO Sam Altman 一直擔心 AI 可能導致人類滅絕。

在 5 月的一場 AI 主題的美國國會聽證會上，Altman 就表示，需要對 AI 進行監管，如果沒有針對超級 AI 的嚴格監管標準，未來 20 年內將會出現更多危險。

5 月底，Altman 又和谷歌 DeepMind、Anthropic 的 CEO 以及一些知名 AI 研究人員簽署了一份簡短聲明，聲稱「與流行病和核戰爭一樣，減輕 AI 導致滅絕的風險應該成為全球優先事項之一」。

6 月的舊金山科技峰會上，Sam Altman 提到在 AI 技術發展上「你不應該信任一家公司，當然也不應該信任一個人」，他認為這項技術本身以及它的好處、它的獲取、它的治理，都是屬于全人類的。

不過也有人（以馬斯克為代表）指責 Altman「呼吁監管」只是為了保護 OpenAI 領導地位。Sam Altman 當時回應稱，「我們認為，應該對那些超過某一高度能力閾值的大型公司和專有模型進行更多監管，而對小型初創公司和開源模型的監管應該較少。我們已經看到試圖對科技進行過度監管的國家所面臨的問題，這不是我們所期望的?！?/p>

他還表示，「人們訓練的模型遠遠超出了我們今天擁有的任何模型規模，但如果超出了某些能力閾值，我認為應該需要有一個認證過程，同時還應該進行外部審核和安全測試。而且，這樣的模型需要向政府報告，應該接受政府的監督。」

與 Altman 觀點相反的是，就在 10 月 19 日，Meta 科學家 Yann LeCun（楊立昆）在接受英媒《金融時報》采訪時表達了自己反對過早監管 AI 的立場。

Yann LeCun 是美國國家科學院、美國國家工程院和法國科學院院士，也因發明卷積網絡，以及使用卷積神經網絡（CNN）的光學字符識別和計算機視覺方面的工作而聞名。

2018 年，Yann LeCun 與 Yoshua Bengio 和 Geoffrey Hinton 一起獲得了圖靈獎（通常被稱為「計算界的諾貝爾獎」），上述三位通常被稱為「人工智能教父」和「深度學習教父」。

在訪談中，Yann LeCun 對 AI 監管整體呈現出較為消極的態度，他認為，現在監管 AI 模型就像在 1925 年監管噴氣式航空飛機一樣（當時這種飛機還沒有被發明出來），過早監管 AI 只會加強大型科技公司的主導地位，扼殺競爭。

「監管 AI 的研發會產生令人難以置信的反效果，」Yann LeCun 表示，監管 AI 的要求源于一些領先科技公司的「傲慢」或者「優越感」，這些公司認為只有他們才能獲得信任，安全地開發 AI，「他們希望打著 AI 安全的幌子進行監管。」

「但事實上，在我們能夠設計出一個系統，讓它在學習能力方面能夠與貓相匹敵之前，關于 AI 可能會帶來風險的辯論都為時過早」，Yann LeCun 表示，當前一代 AI 模型的能力還遠未達到一些研究人員所宣稱的那樣強大，「它們根本不了解世界的運作方式，它們既沒有計劃能力，也沒辦法進行真正的推理。」

在他看來，OpenAI 和谷歌 DeepMind 一直「過分樂觀」地看待這個問題的復雜性，事實上，距離 AI 達到人類智能水平還需要幾個「概念性的突破」。但即便到那時，也可以通過在系統中編碼「道德品質」來控制 AI，就像現在可以用制定法律來規范人類行為一樣。

本文來自微信公眾號：極客公園 （ID：geekpark），作者：連冉

廣告聲明：文內含有的對外跳轉鏈接（包括不限于超鏈接、二維碼、口令等形式），用于傳遞更多信息，節省甄選時間，結果僅供參考，所有文章均包含本聲明。

總結

以上是生活随笔為你收集整理的担忧 AI 向人类扔核弹，OpenAI 是认真的的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。