大模型 + 智能城市 = 城市通用智能，港科大（广州）发布最新“城市基础大模型 UFM”综述与方案
【新智元導讀】城市通用智能該如何發展？如何解決概念定義模糊、缺乏系統文獻述評和通用解決方案等難題？
城市通用智能（UGI）是一種概念化的高級人工智能形式，旨在深入理解、解釋并有效管理復雜城市系統與環境。
與通用人工智能（AGI）類似，UGI 有望自主執行與城市環境相關的任何智力任務，具備媲美甚至超越人類的能力，從而將城市轉變為更宜居、更有耐受力和更具適應性的空間。
近期，ChatGPT 等大語言模型和視覺大模型等基礎模型的發展極大地推動了機器學習和人工智能領域的進步。
這些模型通過在龐大數據集上進行預訓練，展現出如上下文理解、復雜問題推理和跨任務適應等前所未有的能力，而城市基礎模型（UFMs）是在廣泛的多源、多粒度和多模態的城市數據上預訓練的大規模模型。
題目：Towards Urban General Intelligence: A Review and Outlook of Urban Foundation Models
作者：Weijia Zhang ; Jindong Han ; Zhao Xu ; Hang Ni ; Hao Liu ; Hui Xiong
機構：香港科技大學（廣州），香港科技大學
鏈接：點此查看
倉庫：點此查看
UFMs 可以深入理解和適應各類城市數據及任務，通過整合不同類型的城市數據，能夠為復雜的城市環境提供全面的洞察，揭示復雜動態的時空模式，提高在各種城市環境中的決策能力，從而有效促進城市通用智能的實現，引領城市系統朝著更加一體化、智能化、響應式的方向發展。
盡管 UFMs 充滿了潛力并受到廣泛關注，但其發展仍面臨諸多挑戰，如概念定義模糊、缺乏系統文獻述評和通用解決方案等。
因此，本文旨在對 UFMs 研究進行系統性回顧與展望。首先給出 UFMs 的定義并討論了其獨特的挑戰。接著，提出了一種以數據為中心的分類法對現有 UFMs 研究進行歸類和總結。
此外，本文還介紹了一種構建 UFMs 的新型通用框架，旨在解決所面臨的挑戰，并廣泛適應不同城市任務和環境。隨后，本文還探討了 UFMs 的應用領域，展示其對城市智能的全面提升，并展望 UFMs 未來的發展。
城市基礎模型（UFMs）
城市基礎模型（UFMs）是基于大規模的多源、多粒度及多模態城市數據預訓練的大型模型。通過大規模預訓練，其能在城市背景的多種下游任務及領域中涌現出前所未有的能力與適應性。
構建 UFMs 的獨特挑戰
多源、多粒度和多模態數據整合
UFMs 必須有效整合來自社交媒體、衛星圖像、城市傳感器和交通記錄等多種來源的數據。每個數據源提供從宏觀的城市整體模式到具體的局部細節不同粒度級別的數據。
此外，數據的模態差異顯著，包括文本、圖像和傳感器讀數等。這些不同類型數據的整合在數據預處理、標準化、對齊融合、模型訓練等方面均提出了重大挑戰。
時空推理能力
城市環境在空間和時間上是動態變化的。UFMs 需要理解和預測依賴時間和空間的城市復雜現象。這涉及對時間序列和空間分布的復雜建模和能夠處理高維時空數據的先進算法。這種時空推理能力在城市背景下尤為關鍵，而這一能力在其他類型基礎模型中往往被較少強調甚至缺失。
適應多樣化城市任務領域的能力
城市環境涵蓋了廣泛的領域，如交通、城市規劃、環境監測、公共安全等。每個領域都有其獨特的挑戰和需求。UFMs 需要足夠靈活，以適應不同的領域背景。這不僅涉及模型針對特定任務的定制，還要確保它們能夠在不同城市場景中進行泛化。模型需要在復雜性和適用性之間謹慎平衡，以確保 UFMs 在實際領域環境中的有效部署。
UFMs 研究文獻綜述
本文提出一種數據為中心的 UFMs 文獻分類體系，根據城市數據模態類型將現有的 UFMs 研究工作分為六大類：基于語言的模型 (Language-based models)、基于視覺的模型 (Vision-based models)、基于軌跡的模型 (Trajectory-based models)、基于時間序列的模型 (Time series-based models)、多模態模型 (Multimodal models) 及其他模型，并基于文獻所側重的模型預訓練和適應技術對這些工作進行介紹。
基于語言的模型 (Language-based models)
該部分研究集中在將預訓練語言模型（PLMs）應用于城市語境，主要分為預訓練方法和領域適應方法兩類。
預訓練方法側重于使用城市特定領域數據開發 PLMs，以超越通用 PLMs 在特定任務上的表現。領域適應方法則主要關注利用提示工程和模型微調等技術將現有 PLMs 適配到城市場景中，充分利用現有 PLMs 中蘊含的世界知識，同時大幅減少所需的計算成本。
基于視覺的模型 (Vision-based models)
該部分研究主要分為預訓練方法和領域適應方法兩類。預訓練方法側重于利用街景、監控、遙感、天氣柵格等城市視覺類數據進行模型預訓練。領域適應方法則通過提示工程和模型微調技術，將已有的視覺模型適配至城市場景。
基于軌跡的模型 (Trajectory-based models)
該部分討論了兩類基于軌跡的模型：單模態方法和跨模態遷移方法。單模態方法基于軌跡數據進行預訓練和領域適應。預訓練方法主要應用于路網軌跡和自由空間軌跡兩種數據類別。跨模態遷移方法則側重于研究大語言模型在軌跡分析任務的應用。
基于時間序列的模型 (Time series-based models)
該部分介紹了基于城市時間序列數據的 UFMs，主要包括單模態方法和跨模態遷移方法。單模態方法通常通過在大規模普通時間序列或空間相關時間序列數據集上進行有監督或自監督預訓練來學習時間序列數據的特征和模式。跨模態遷移方法探討了通過提示工程、模型微調、模型重編程等技術將從一個模態學習到的知識、特征或模式轉移到時間序列分析任務中的應用潛力。
多模態模型 (Multimodal models)
該部分討論了開發 UFMs 來處理多種數據模態以實現對城市動態更全面的理解，也可主要分為預訓練方法和領域適應方法兩類。其中預訓練方法根據可應用領域又劃分為單領域模型和多領域模型。而領域適應方法則主要基于提示工程和模型微調等技術。
其他模型 (Other Models)
該部分探討了除前述模態外，UFMs 在其他城市數據和場景中的探索性研究，如地理數據、路網數據和交通控制等。
UFMs 通用框架
UFMs 的發展目前主要集中于整合有限范圍的城市數據類型并應用于特定的城市場景。并且，UFMs 對空間-時間推理以及數據隱私問題的考量尚未得到充分探索。
理想情況下，UFMs 應能夠處理多源多粒度城市數據，涵蓋各種數據模態，適應廣泛的城市任務和領域。
此外，它們還應具備智能的空間-時間推理能力，以深入理解和解釋城市環境中的復雜動態和相互聯系，同時保證數據隱私和安全，并保障用戶的使用體驗。
為此，本文提出了一個潛在的 UFMs 通用框架，旨在克服當前挑戰并構建未來的多功能 UFMs。
該框架主要包括城市數據整合、多模態 UFMs 構建、空間-時間推理、實用性增強和隱私保護幾個核心環節。城市數據整合描述了多源、多粒度和多模態城市數據的收集、預處理和有效整合過程。
多模態 UFMs 構建探討了為特定城市數據模態建立基礎模型的策略，包括對現有基礎模型的微調以及為領域特定模態構建基礎模型。
空間-時間推理部分介紹了通過學習地理位置嵌入和時間嵌入等來增強 UFMs 的空間和時間推理能力。實用性增強部分討論了通過構建 AI 智能體來提升用戶交互體驗，以及智能協調和集成外部工具以提高 UFMs 的效用。隱私保護討論采用大模型聯邦學習等技術來應對這一挑戰。
UFMs 應用領域
UFMs 在多種城市場景中展現出巨大的應用潛力和研究價值。
交通運輸
智能交通系統正在徹底變革我們的社會，從道路安全、公共交通到交通管理決策各個方面都受到其影響。雖然目前的研究已嘗試開發用于處理和分析復雜交通數據的基礎模型，但大多數研究側重于交通系統的特定方面，例如自然語言處理。UFMs 需能有效處理交通數據的異質性和多模態性以適用于更廣泛的交通場景。
城市規劃
有效的城市規劃在打造智能、高效、環保的城市中發揮著至關重要作用。UFMs 能分析大量城市數據、提出創新想法以輔助規劃師和政策制定者進行未來規劃，并在有效挖掘和分析數字平臺上公眾反饋，加強參與式規劃等過程中提供重大幫助。
能源管理
人工智能已被證明有助于城市能源系統的管理。盡管存在能源數據的敏感性和隱私性等挑戰，UFMs 在能源管理領域的應用前景仍然十分光明，聯邦學習等隱私保護技術可能是充分利用基礎模型潛力的有效方案。
環境監測
快速城市化帶來的空氣污染、水污染和資源枯竭等問題對公共健康和城市可持續發展構成嚴重威脅。雖然專門針對氣候相關任務的基礎模型已被開發，但 UFMs 在更廣泛的環境問題，如空氣等污染分析中的應用，還遠未得到充分探索。
公共安全
公共安全是城市生活的核心，直接關系到市民的福祉。基礎模型的構建能夠推動犯罪預防、緊急響應和災害管理等應用的進步。盡管基于大語言模型的方法已在提升城市公共安全方面展現出巨大作用，但 UFMs 在該領域的全部潛力尚待深入挖掘。
總結和展望
本文全面回顧了城市基礎模型（UFMs）的相關研究，探討了其在深化對城市的理解和實現城市通用智能（UGI）方面的潛力。
文章定義了 UFMs，并指出其面臨的挑戰，提出了一種基于城市數據模態類型的分類方法，為未來研究提供了清晰的框架；同時，文章還提出一個構建 UFMs 的通用方案框架，以解決現有挑戰并構建多功能、多模態的 UFMs。
展望未來，UFMs 的發展前景令人振奮。預計未來研究將專注于多模態與多粒度城市數據的融合及分析，以支持更廣泛的城市應用。
關鍵研究方向包括開發能夠實時處理城市數據并提供即時見解的 UFMs，以及增強其時空推理能力以提升在動態城市環境中的表現；同時，平衡數據效用與隱私安全成為重大挑戰，開發既保護個人隱私又能服務公眾利益的模型，對于確保倫理的發展城市智能至關重要。
我們期待 UFMs 推動城市生活朝向更智能、更有耐受力和更具適應性的未來。
參考資料
https://arxiv.org/abs/2402.01749
本文來自微信公眾號：新智元 （ID：AI_era）
廣告聲明：文內含有的對外跳轉鏈接（包括不限于超鏈接、二維碼、口令等形式），用于傳遞更多信息，節省甄選時間，結果僅供參考，所有文章均包含本聲明。
總結
以上是生活随笔為你收集整理的大模型 + 智能城市 = 城市通用智能，港科大（广州）发布最新“城市基础大模型 UFM”综述与方案的全部內容，希望文章能夠幫你解決所遇到的問題。
- 上一篇： 下一个 OpenAI 来了？Mistra
- 下一篇： 天马宣布独供小米平板 6S Pro 12