首個智慧城市大模型UrbanGPT，全面開源開放｜港大&百度

首個智慧城市大模型UrbanGPT，全面開源開放｜港大&百度

量子位

2024-06-01 15:10釋出于北京量子位官方賬号

UrbanGPT團隊 投稿

量子位 | 公衆号 QbitAI

時空預測技術，迎來ChatGPT時刻。

時空預測緻力于捕捉城市生活的動态變化，并預測其未來走向，它不僅關注交通和人流的流動，還涵蓋了犯罪趨勢等多個次元。目前，深度時空預測技術在生成精确的時空模型方面，依賴于大量訓練資料的支撐，這在城市資料不足的情況下顯得尤為困難。

港大、百度聯合團隊借鑒大型語言模型的思想，提出了一種新型的時空大型語言模型UbanGPT。

該模型在多種城市應用場景中展現了出色的普适性。通過結合時空依賴編碼器和指令微調方法，該模型增強了對時間和空間複雜關系的了解，即使在資料稀缺的條件下也能提供更精确的預測。通過一系列廣泛的實驗，UrbanGPT在多個城市相關的任務上展現了其卓越的性能，并證明了其在零樣本學習領域的強大潛力。

時空大型語言模型UrbanGPT

挑戰1：标簽稀缺和高昂的訓練成本

盡管尖端的時空網絡在預測任務上表現出色，但它們的效能受限于對大量标記資料的依賴。在城市應用中，擷取資料通常非常困難，例如，要對整個城市的交通和空氣品質進行監控，其成本是相當高的。此外，這些模型在面對新地區或新任務時，其泛化能力通常不足，需要進行重新訓練以适應不同的時空環境。

挑戰2：LLMs和現有的時空預測模型在零樣本泛化方面存在局限

如圖1所展示的，大型語言模型LLaMA能夠根據輸入的文本資訊推斷出流量模式。但是，當涉及到處理具有複雜時空依賴性的數字時間序列資料時，LLaMA的預測能力受限，有時可能會得出與實際相反的預測結果。與此同時，雖然預訓練的基線模型能夠有效地編碼時空依賴關系，但它們可能會因為過度适應原始訓練資料而在沒有先前經驗的新場景（零樣本場景）中表現不佳。

挑戰3：如何将LLMs的出色推理能力擴充到時空預測領域：

時空資料具有其獨特的屬性，這與LLMs所編碼的資訊之間存在差異。縮小這一差異，并建構一個能夠在多樣的城市任務中展現出卓越泛化性能的時空大型語言模型，是目前面臨的一個重大挑戰。

△ 圖1：與LLMs和現有時空圖神經網絡相比，UrbanGPT 在零樣本場景下能更好地預測未來時空趨勢

時空大型語言模型UrbanGPT

據團隊了解，這是首次嘗試建立一種時空大型語言模型，該模型能夠預測不同資料集上的多種城市現象，特别是在訓練樣本受限的情境下。

本研究提出了名為UrbanGPT的時空預測架構，它賦予了大型語言模型深入了解時間和空間之間複雜互相依賴關系的能力。通過将時空依賴編碼器與指令微調政策巧妙結合，該架構成功地将時空資訊與大型語言模型的推理能力融合在一起。

在現實世界資料基礎上進行的廣泛實驗驗證了UrbanGPT在零樣本時空學習場景中的卓越泛化性能。這些實驗結果不僅凸顯了UrbanGPT模型的強大泛化潛力，也證明了它在精确預測和了解時空模式方面的有效性，即便在缺乏訓練樣本的情況下。

△圖2: UrbanGPT 整體架構

時空依賴編碼器

LLMs在處理語言任務時表現出色，但它們在解析時空資料中固有的時間序列及其演化模式方面存在困難。為了克服這一難題，本文提出了一種創新方法，即整合時空編碼器來提升大型語言模型捕捉時空上下文中時間依賴性的能力。具體來說，所設計的時空編碼器由兩個核心元件構成：一個是門控擴散卷積層，另一個是多層次關聯注入層。

門控時間擴散卷積層在不同層級上編碼了不同程度的時間依賴性，捕捉了具有不同粒度級别的時間演化特征。為了保留這些時間資訊模式，團隊引入了一個多層次的關聯注入層，該層旨在融合不同層級之間的互相關聯性。

為應對可能出現的多樣化城市場景，本文提出的時空編碼器在模拟空間關聯性時不依賴于特定的圖結構。這種做法考慮到在零樣本預測的情境下，實體間的空間聯系可能是未知的或難以明确界定的。這樣的設計確定了UrbanGPT能夠在廣泛的城市環境條件下保持其适用性和有效性。

時空指令微調架構

時空資料-文本對齊

為了讓語言模型能夠準确捕捉時空模式，確定文本資訊與時空資料的一緻性是關鍵。這種對齊使得模型能夠整合多種類型的資料，生成更豐富的資訊表示。通過結合文本和時空領域的上下文特征，模型不僅能夠捕獲到補充性的資訊，還能提煉出更具表現力的進階語義特征。

時空提示指令

在進行時空預測時，時間與空間次元都蘊含着豐富的語義資訊，這些資訊對于模型準确了解特定情境下的時空動态至關重要。例如，早晨的交通流量特征與交通高峰時段顯著不同，同時商業區和住宅區的交通模式也各有特點。UrbanGPT架構通過整合不同粒度的時間資料和空間特征，作為其大型語言模型的指令輸入。具體來說，時間資訊涵蓋了日期、具體時間等要素，而空間資訊則包括了城市名稱、行政區劃分以及周邊的興趣點（POI）等資料，如圖3所示。這種多元度的時空資訊整合，使得UrbanGPT能夠精确地捕捉不同時間和地點的時空模式，顯著增強了其在未知樣本上的推理能力。

△圖3: 編碼時間和空間資訊感覺的時空提示指令

3.2.3 大語言模型的時空指令微調

在利用大型語言模型（LLMs）進行指令微調以生成文本形式的時空預測時，面臨兩大挑戰。首先，這類預測任務依賴于數值型資料，其結構和規律與LLMs所擅長處理的自然語言（側重于語義和文法）存在差異。其次，LLMs通常采用多分類損失函數進行預訓練，以預測文本中接下來的單詞，這與需要輸出連續數值的回歸問題有所差別。

實驗結果：

零樣本預測性能

相同城市内未見區域的預測

跨區域場景使用同一城市中某些區域的資料來預測模型未曾接觸過的其他區域的未來情況。通過細緻分析模型在此類跨區域預測任務中的表現，團隊發現UrbanGPT展現了出色的零樣本預測性能。UrbanGPT通過時空與文本資訊的精準對齊，以及将時空指令微調技術與時空依賴編碼器的無縫融合，有效地保持了通用且可遷移的時空知識，進而在零樣本場景中實作了精準的預測。此外，UrbanGPT在處理資料稀疏性問題時同樣具備顯著優勢。特别是在犯罪預測任務中，由于資料的稀疏性，傳統的基線模型經常表現不佳，低召回率可能暗示了過拟合的問題。UrbanGPT通過整合文本中的語義資訊，注入了豐富的語義洞察力，這增強了模型捕捉稀疏資料中時空模式的能力，進而提升了預測的準确度。

△表1：跨區域零樣本預測場景性能比較

跨城市預測任務

為了檢驗模型在進行跨城市預測時的表現，團隊選用了CHI-taxi資料集進行評估，該資料集在模型的訓練階段未曾使用。圖4的評估結果表明，在每個時間點上，模型的表現均優于其他對比方法，這證明了UrbanGPT在跨城市知識遷移方面的有效性。模型通過綜合考慮多樣的地理資訊和時間要素，展現出将功能相似的區域和曆史同期的時空模式進行關聯的能力，為實作跨城市場景中的精确零樣本預測提供了強有力的支援。

△圖4：跨城市零樣本預測場景性能比較

典型的有監督預測任務

團隊也對UrbanGPT在有監督預測情境下的性能進行了探究，特别是通過采用時間跨度更大的測試資料集來檢驗模型在長期時空預測方面的效能。舉例來說，團隊使用2017年的資料來訓練模型，并用2021年的資料進行測試。測試結果顯示，UrbanGPT在長期時間跨度的場景中相比基線模型有着明顯的優勢，彰顯了其出色的泛化能力。這一特性意味着模型不需要頻繁地重新訓練或進行增量更新，進而更适應實際應用場景。此外，實驗還證明，引入額外的文本資訊并不會對模型性能造成負面影響或引入噪聲，這進一步支援了利用大型語言模型來增強時空預測任務的政策是可行的。

△表2：有監督設定下的預測性能評估

消融實驗

（1）時空上下文的效用：-STC。 當從指導文本中去除時空資訊時，模型的性能出現了下降。這可能是因為缺少了時間次元的資料，導緻模型隻能依賴時空編碼器來處理與時間相關的特征并執行預測。同時，空間資訊的缺乏也削弱了模型捕捉空間相關性的能力，這使得識别和分析不同區域的獨特時空模式變得更加困難。

（2）使用多個資料集進行指令微調的影響：-Multi。 模型僅接受了NYC-taxi資料集的訓練。由于缺少來自不同城市名額的廣泛資訊，這限制了模型深入展現城市時空動态的能力，導緻預測結果不盡人意。然而，通過融合多個來源的時空資料，模型能夠更有效地捕捉到不同地理位置的獨特屬性以及随時間演變的模式，進而加深對城市複雜性的洞察。

（3）時空編碼器的作用：-STE。 缺少時空編碼器顯著限制了大型語言模型在時空預測任務中的效能。這突出了所設計時空編碼器在增強模型預測準确性方面的重要性。

（4）指令微調中的回歸層：T2P。 UrbanGPT被直接指導以文本形式輸出其預測結果。模型在性能上的不足主要是由于其訓練階段主要采用多類損失函數進行優化，這造成了模型機率輸出與時空預測任務所需的連續數值分布之間的不一緻。為了解決這一問題，團隊在模型架構中內建了一個回歸預測子產品，這一改進顯著增強了模型在回歸任務中生成更精确數值預測的能力。

△圖5：UrbanGPT消融實驗

模型魯棒性研究

本部分對UrbanGPT在應對不同時空模式場景時的穩定性進行了評估。團隊根據區域内在特定時間段數值波動的大小将區域進行區分。方差較小的區域代表時間模式較為恒定，而方差較大的區域則代表時空模式更為多變，例如繁忙的商業區或人口密集地區。圖6的評估結果顯示，大多數模型在方差較低、時空模式相對穩定的區域中表現較好。然而，基線模型在方差較高、特别是方差位于(0.75, 1.0]區間的區域中表現不佳，這可能是因為基線模型在推斷未見區域的複雜時空模式方面存在局限。在實際的城市營運中，對人口密集或商業繁忙區域的準确預測對于城市管理極為關鍵，包括交通信号的控制和安全排程等方面。UrbanGPT在方差位于(0.75, 1.0]區間的區域中展現了顯著的性能提升，這凸顯了其在零樣本預測方面的卓越能力。

△圖6：模型魯棒性研究

案例研究

本次實驗旨在評估不同大型語言模型（LLMs）在零樣本時空預測任務中的效能。根據表3的實驗結果，團隊可以看到各類LLMs能夠依據提供的指令生成預測結果，這證明了團隊提示設計的有效性。

具體來看，ChatGPT在其預測中傾向于依賴曆史平均值，而不是明确地整合時間或空間資料。Llama-2-70b能夠分析特定時段和區域的資訊，但在處理數值時間序列的依賴性時遇到了難題，這影響了其預測的準确性。相比之下，Claude-2.1能夠高效地整合和分析曆史資料，并利用高峰時段的模式以及興趣點（POI）資訊來提高流量趨勢預測的精确度。在本研究中提出的UrbanGPT模型，通過時空指令微調的方式，成功地将時空上下文信号與大型語言模型的推理能力結合起來，顯著提升了預測數值和時空趨勢的準确性。這些發現凸顯了UrbanGPT架構在捕捉普遍時空模式方面的潛力，證明了其在實作零樣本時空預測方面的有效性。

△表3：不同的LLMs在紐約市自行車流量中的零樣本預測案例

總結與展望

本研究介紹了UrbanGPT，這是一個具備在多樣化城市情境下卓越泛化性能的時空大型語言模型。通過采用一種創新的時空指令微調政策，團隊成功實作了時空上下文資訊與大型語言模型（LLMs）的緊密整合，進而讓UrbanGPT得以掌握廣泛适用且可遷移的時空模式。實驗資料充分證明了UrbanGPT模型架構及其核心元件的有效性。

盡管目前的成果充滿希望，但團隊也認識到未來研究中仍有一些挑戰需要克服。作為未來工作的一部分，團隊計劃積極收集更多樣化的城市資料，以此來加強和提升UrbanGPT在更廣泛城市計算場景中的應用能力。此外，深入了解UrbanGPT的決策機制也極為關鍵。盡管模型在性能上表現出色，但提供決策過程的透明度和可解釋性同樣重要。未來的研究将緻力于開發能夠解釋其預測結果的UrbanGPT模型。

項目連結: https://urban-gpt.github.io/

代碼連結: https://github.com/HKUDS/UrbanGPT

論文連結: https://arxiv.org/abs/2403.00813

實驗室首頁: https://sites.google.com/view/chaoh/home

檢視原圖 48K

• 

• 

• 

• 

• 

• 

• 

• 

• 

• 

• 

• 

• 

• 

•