【新智元導讀】城市通用智能該如何發(fā)展？如何解決概念定義模糊、缺乏系統(tǒng)文獻述評和通用解決方案等難題？
城市通用智能（UGI）是一種概念化的高級人工智能形式，旨在深入理解、解釋并有效管理復雜城市系統(tǒng)與環(huán)境。
與通用人工智能（AGI）類似，UGI 有望自主執(zhí)行與城市環(huán)境相關(guān)的任何智力任務(wù)，具備媲美甚至超越人類的能力，從而將城市轉(zhuǎn)變?yōu)楦司?、更有耐受力和更具適應(yīng)性的空間。
近期，ChatGPT 等大語言模型和視覺大模型等基礎(chǔ)模型的發(fā)展極大地推動了機器學習和人工智能領(lǐng)域的進步。
這些模型通過在龐大數(shù)據(jù)集上進行預訓練，展現(xiàn)出如上下文理解、復雜問題推理和跨任務(wù)適應(yīng)等前所未有的能力，而城市基礎(chǔ)模型（UFMs）是在廣泛的多源、多粒度和多模態(tài)的城市數(shù)據(jù)上預訓練的大規(guī)模模型。
題目：Towards Urban General Intelligence: A Review and Outlook of Urban Foundation Models
作者：Weijia Zhang ; Jindong Han ; Zhao Xu ; Hang Ni ; Hao Liu ; Hui Xiong
機構(gòu)：香港科技大學（廣州），香港科技大學
鏈接：點此查看
倉庫：點此查看
UFMs 可以深入理解和適應(yīng)各類城市數(shù)據(jù)及任務(wù)，通過整合不同類型的城市數(shù)據(jù)，能夠為復雜的城市環(huán)境提供全面的洞察，揭示復雜動態(tài)的時空模式，提高在各種城市環(huán)境中的決策能力，從而有效促進城市通用智能的實現(xiàn)，引領(lǐng)城市系統(tǒng)朝著更加一體化、智能化、響應(yīng)式的方向發(fā)展。
盡管 UFMs 充滿了潛力并受到廣泛關(guān)注，但其發(fā)展仍面臨諸多挑戰(zhàn)，如概念定義模糊、缺乏系統(tǒng)文獻述評和通用解決方案等。
因此，本文旨在對 UFMs 研究進行系統(tǒng)性回顧與展望。首先給出 UFMs 的定義并討論了其獨特的挑戰(zhàn)。接著，提出了一種以數(shù)據(jù)為中心的分類法對現(xiàn)有 UFMs 研究進行歸類和總結(jié)。
此外，本文還介紹了一種構(gòu)建 UFMs 的新型通用框架，旨在解決所面臨的挑戰(zhàn)，并廣泛適應(yīng)不同城市任務(wù)和環(huán)境。隨后，本文還探討了 UFMs 的應(yīng)用領(lǐng)域，展示其對城市智能的全面提升，并展望 UFMs 未來的發(fā)展。
城市基礎(chǔ)模型（UFMs）
城市基礎(chǔ)模型（UFMs）是基于大規(guī)模的多源、多粒度及多模態(tài)城市數(shù)據(jù)預訓練的大型模型。通過大規(guī)模預訓練，其能在城市背景的多種下游任務(wù)及領(lǐng)域中涌現(xiàn)出前所未有的能力與適應(yīng)性。
構(gòu)建 UFMs 的獨特挑戰(zhàn)
多源、多粒度和多模態(tài)數(shù)據(jù)整合
UFMs 必須有效整合來自社交媒體、衛(wèi)星圖像、城市傳感器和交通記錄等多種來源的數(shù)據(jù)。每個數(shù)據(jù)源提供從宏觀的城市整體模式到具體的局部細節(jié)不同粒度級別的數(shù)據(jù)。
此外，數(shù)據(jù)的模態(tài)差異顯著，包括文本、圖像和傳感器讀數(shù)等。這些不同類型數(shù)據(jù)的整合在數(shù)據(jù)預處理、標準化、對齊融合、模型訓練等方面均提出了重大挑戰(zhàn)。
時空推理能力
城市環(huán)境在空間和時間上是動態(tài)變化的。UFMs 需要理解和預測依賴時間和空間的城市復雜現(xiàn)象。這涉及對時間序列和空間分布的復雜建模和能夠處理高維時空數(shù)據(jù)的先進算法。這種時空推理能力在城市背景下尤為關(guān)鍵，而這一能力在其他類型基礎(chǔ)模型中往往被較少強調(diào)甚至缺失。
適應(yīng)多樣化城市任務(wù)領(lǐng)域的能力
城市環(huán)境涵蓋了廣泛的領(lǐng)域，如交通、城市規(guī)劃、環(huán)境監(jiān)測、公共安全等。每個領(lǐng)域都有其獨特的挑戰(zhàn)和需求。UFMs 需要足夠靈活，以適應(yīng)不同的領(lǐng)域背景。這不僅涉及模型針對特定任務(wù)的定制，還要確保它們能夠在不同城市場景中進行泛化。模型需要在復雜性和適用性之間謹慎平衡，以確保 UFMs 在實際領(lǐng)域環(huán)境中的有效部署。
UFMs 研究文獻綜述
本文提出一種數(shù)據(jù)為中心的 UFMs 文獻分類體系，根據(jù)城市數(shù)據(jù)模態(tài)類型將現(xiàn)有的 UFMs 研究工作分為六大類：基于語言的模型 (Language-based models)、基于視覺的模型 (Vision-based models)、基于軌跡的模型 (Trajectory-based models)、基于時間序列的模型 (Time series-based models)、多模態(tài)模型 (Multimodal models) 及其他模型，并基于文獻所側(cè)重的模型預訓練和適應(yīng)技術(shù)對這些工作進行介紹。
基于語言的模型 (Language-based models)
該部分研究集中在將預訓練語言模型（PLMs）應(yīng)用于城市語境，主要分為預訓練方法和領(lǐng)域適應(yīng)方法兩類。
預訓練方法側(cè)重于使用城市特定領(lǐng)域數(shù)據(jù)開發(fā) PLMs，以超越通用 PLMs 在特定任務(wù)上的表現(xiàn)。領(lǐng)域適應(yīng)方法則主要關(guān)注利用提示工程和模型微調(diào)等技術(shù)將現(xiàn)有 PLMs 適配到城市場景中，充分利用現(xiàn)有 PLMs 中蘊含的世界知識，同時大幅減少所需的計算成本。
基于視覺的模型 (Vision-based models)
該部分研究主要分為預訓練方法和領(lǐng)域適應(yīng)方法兩類。預訓練方法側(cè)重于利用街景、監(jiān)控、遙感、天氣柵格等城市視覺類數(shù)據(jù)進行模型預訓練。領(lǐng)域適應(yīng)方法則通過提示工程和模型微調(diào)技術(shù)，將已有的視覺模型適配至城市場景。
基于軌跡的模型 (Trajectory-based models)
該部分討論了兩類基于軌跡的模型：單模態(tài)方法和跨模態(tài)遷移方法。單模態(tài)方法基于軌跡數(shù)據(jù)進行預訓練和領(lǐng)域適應(yīng)。預訓練方法主要應(yīng)用于路網(wǎng)軌跡和自由空間軌跡兩種數(shù)據(jù)類別。跨模態(tài)遷移方法則側(cè)重于研究大語言模型在軌跡分析任務(wù)的應(yīng)用。
基于時間序列的模型 (Time series-based models)
該部分介紹了基于城市時間序列數(shù)據(jù)的 UFMs，主要包括單模態(tài)方法和跨模態(tài)遷移方法。單模態(tài)方法通常通過在大規(guī)模普通時間序列或空間相關(guān)時間序列數(shù)據(jù)集上進行有監(jiān)督或自監(jiān)督預訓練來學習時間序列數(shù)據(jù)的特征和模式?？缒B(tài)遷移方法探討了通過提示工程、模型微調(diào)、模型重編程等技術(shù)將從一個模態(tài)學習到的知識、特征或模式轉(zhuǎn)移到時間序列分析任務(wù)中的應(yīng)用潛力。
多模態(tài)模型 (Multimodal models)
該部分討論了開發(fā) UFMs 來處理多種數(shù)據(jù)模態(tài)以實現(xiàn)對城市動態(tài)更全面的理解，也可主要分為預訓練方法和領(lǐng)域適應(yīng)方法兩類。其中預訓練方法根據(jù)可應(yīng)用領(lǐng)域又劃分為單領(lǐng)域模型和多領(lǐng)域模型。而領(lǐng)域適應(yīng)方法則主要基于提示工程和模型微調(diào)等技術(shù)。
其他模型 (Other Models)
該部分探討了除前述模態(tài)外，UFMs 在其他城市數(shù)據(jù)和場景中的探索性研究，如地理數(shù)據(jù)、路網(wǎng)數(shù)據(jù)和交通控制等。
UFMs 通用框架
UFMs 的發(fā)展目前主要集中于整合有限范圍的城市數(shù)據(jù)類型并應(yīng)用于特定的城市場景。并且，UFMs 對空間-時間推理以及數(shù)據(jù)隱私問題的考量尚未得到充分探索。
理想情況下，UFMs 應(yīng)能夠處理多源多粒度城市數(shù)據(jù)，涵蓋各種數(shù)據(jù)模態(tài)，適應(yīng)廣泛的城市任務(wù)和領(lǐng)域。
此外，它們還應(yīng)具備智能的空間-時間推理能力，以深入理解和解釋城市環(huán)境中的復雜動態(tài)和相互聯(lián)系，同時保證數(shù)據(jù)隱私和安全，并保障用戶的使用體驗。
為此，本文提出了一個潛在的 UFMs 通用框架，旨在克服當前挑戰(zhàn)并構(gòu)建未來的多功能 UFMs。
該框架主要包括城市數(shù)據(jù)整合、多模態(tài) UFMs 構(gòu)建、空間-時間推理、實用性增強和隱私保護幾個核心環(huán)節(jié)。城市數(shù)據(jù)整合描述了多源、多粒度和多模態(tài)城市數(shù)據(jù)的收集、預處理和有效整合過程。
多模態(tài) UFMs 構(gòu)建探討了為特定城市數(shù)據(jù)模態(tài)建立基礎(chǔ)模型的策略，包括對現(xiàn)有基礎(chǔ)模型的微調(diào)以及為領(lǐng)域特定模態(tài)構(gòu)建基礎(chǔ)模型。
空間-時間推理部分介紹了通過學習地理位置嵌入和時間嵌入等來增強 UFMs 的空間和時間推理能力。實用性增強部分討論了通過構(gòu)建 AI 智能體來提升用戶交互體驗，以及智能協(xié)調(diào)和集成外部工具以提高 UFMs 的效用。隱私保護討論采用大模型聯(lián)邦學習等技術(shù)來應(yīng)對這一挑戰(zhàn)。
UFMs 應(yīng)用領(lǐng)域
UFMs 在多種城市場景中展現(xiàn)出巨大的應(yīng)用潛力和研究價值。
交通運輸
智能交通系統(tǒng)正在徹底變革我們的社會，從道路安全、公共交通到交通管理決策各個方面都受到其影響。雖然目前的研究已嘗試開發(fā)用于處理和分析復雜交通數(shù)據(jù)的基礎(chǔ)模型，但大多數(shù)研究側(cè)重于交通系統(tǒng)的特定方面，例如自然語言處理。UFMs 需能有效處理交通數(shù)據(jù)的異質(zhì)性和多模態(tài)性以適用于更廣泛的交通場景。
城市規(guī)劃
有效的城市規(guī)劃在打造智能、高效、環(huán)保的城市中發(fā)揮著至關(guān)重要作用。UFMs 能分析大量城市數(shù)據(jù)、提出創(chuàng)新想法以輔助規(guī)劃師和政策制定者進行未來規(guī)劃，并在有效挖掘和分析數(shù)字平臺上公眾反饋，加強參與式規(guī)劃等過程中提供重大幫助。
能源管理
人工智能已被證明有助于城市能源系統(tǒng)的管理。盡管存在能源數(shù)據(jù)的敏感性和隱私性等挑戰(zhàn)，UFMs 在能源管理領(lǐng)域的應(yīng)用前景仍然十分光明，聯(lián)邦學習等隱私保護技術(shù)可能是充分利用基礎(chǔ)模型潛力的有效方案。
環(huán)境監(jiān)測
快速城市化帶來的空氣污染、水污染和資源枯竭等問題對公共健康和城市可持續(xù)發(fā)展構(gòu)成嚴重威脅。雖然專門針對氣候相關(guān)任務(wù)的基礎(chǔ)模型已被開發(fā)，但 UFMs 在更廣泛的環(huán)境問題，如空氣等污染分析中的應(yīng)用，還遠未得到充分探索。
公共安全
公共安全是城市生活的核心，直接關(guān)系到市民的福祉?；A(chǔ)模型的構(gòu)建能夠推動犯罪預防、緊急響應(yīng)和災害管理等應(yīng)用的進步。盡管基于大語言模型的方法已在提升城市公共安全方面展現(xiàn)出巨大作用，但 UFMs 在該領(lǐng)域的全部潛力尚待深入挖掘。
總結(jié)和展望
本文全面回顧了城市基礎(chǔ)模型（UFMs）的相關(guān)研究，探討了其在深化對城市的理解和實現(xiàn)城市通用智能（UGI）方面的潛力。
文章定義了 UFMs，并指出其面臨的挑戰(zhàn)，提出了一種基于城市數(shù)據(jù)模態(tài)類型的分類方法，為未來研究提供了清晰的框架；同時，文章還提出一個構(gòu)建 UFMs 的通用方案框架，以解決現(xiàn)有挑戰(zhàn)并構(gòu)建多功能、多模態(tài)的 UFMs。
展望未來，UFMs 的發(fā)展前景令人振奮。預計未來研究將專注于多模態(tài)與多粒度城市數(shù)據(jù)的融合及分析，以支持更廣泛的城市應(yīng)用。
關(guān)鍵研究方向包括開發(fā)能夠?qū)崟r處理城市數(shù)據(jù)并提供即時見解的 UFMs，以及增強其時空推理能力以提升在動態(tài)城市環(huán)境中的表現(xiàn)；同時，平衡數(shù)據(jù)效用與隱私安全成為重大挑戰(zhàn)，開發(fā)既保護個人隱私又能服務(wù)公眾利益的模型，對于確保倫理的發(fā)展城市智能至關(guān)重要。
我們期待 UFMs 推動城市生活朝向更智能、更有耐受力和更具適應(yīng)性的未來。
參考資料
https://arxiv.org/abs/2402.01749
本文來自微信公眾號：新智元 （ID：AI_era）
廣告聲明：文內(nèi)含有的對外跳轉(zhuǎn)鏈接（包括不限于超鏈接、二維碼、口令等形式），用于傳遞更多信息，節(jié)省甄選時間，結(jié)果僅供參考，IT之家所有文章均包含本聲明。