Connecting the Dots: 基于圖神經網絡的多元時間序列預測
題目：
Connecting the Dots: Multivariate Time Series Forecasting with Graph Neural Networks
作者：
Zonghan Wu, Shirui Pan, Guodong Long, Jing Jiang, Xiaojun Chang, Chengqi Zhang
來源：
Machine Learning
Accepted by KDD 2020
Submitted on 24 May 2020
關注人工智能學術前沿 回複 ：ts01
5秒免費 擷取論文pdf文檔，及項目源碼
摘要
多元時間序列模組化一直是一個熱門主題，吸引了來自不同領域的研究人員，包括經濟、金融和交通。多元時間序列預測背後的一個基本假設是，其變量互相依賴，但仔細觀察，可以說現有方法無法完全利用變量對之間的潛在空間依賴性。同時，近年來，圖神經網絡(GNN)在處理關系依賴方面表現出了很高的能力。GNN需要用于資訊傳播的定義明确的圖結構，這意味着它們無法直接應用于事先不知道相關性的多元時間序列。在本文中，我們提出了一個專門為多元時間序列資料設計的通用圖神經網絡架構。我們的方法通過圖形學習子產品自動提取變量之間的單向關系，可以輕松地将諸如變量屬性之類的外部知識整合到其中。進一步提出了一種新穎的混合跳躍傳播層和一個擴張的起始層來捕獲時間序列内的空間和時間依賴性。在端到端架構中共同學習圖學習，圖卷積和時間卷積子產品。實驗結果表明，我們提出的模型在4個基準資料集中的3個方面優于最新的基線方法，并在提供額外結構資訊的兩個交通資料集上與其他方法相比具有同等的性能。
英文原文
Modeling multivariate time series has long been a subject that has attracted researchers from a diverse range of fields including economics, finance, and traffic. A basic assumption behind multivariate time series forecasting is that its variables depend on one another but, upon looking closely, it is fair to say that existing methods fail to fully exploit latent spatial dependencies between pairs of variables. In recent years, meanwhile, graph neural networks (GNNs) have shown high capability in handling relational dependencies. GNNs require well-defined graph structures for information propagation which means they cannot be applied directly for multivariate time series where the dependencies are not known in advance. In this paper, we propose a general graph neural network framework designed specifically for multivariate time series data. Our approach automatically extracts the uni-directed relations among variables through a graph learning module, into which external knowledge like variable attributes can be easily integrated. A novel mix-hop propagation layer and a dilated inception layer are further proposed to capture the spatial and temporal dependencies within the time series. The graph learning, graph convolution, and temporal convolution modules are jointly learned in an end-to-end framework. Experimental results show that our proposed model outperforms the state-of-the-art baseline methods on 3 of 4 benchmark datasets and achieves on-par performance with other approaches on two traffic datasets which provide extra structural information.
基于圖神經網絡的多變量時間序列模組化
引言
圖是描述不同實體之間關系的資料的一種特殊形式。近年來，圖神經網絡由于其置換不變性、局部連通性群組合性，在處理圖資料方面取得了很大的成功。通過通過結構傳播資訊，圖神經網絡允許圖中的每個節點都知道它的鄰域。
多元時間序列預測可以很自然地從圖的角度來看待。多元時間序列中的變量可以看作是圖中的節點，它們通過隐藏的依賴關系互相連接配接。是以，利用圖神經網絡對多變量時間序列資料進行模組化是一種很有前途的方法，可以在充分利用時間序列之間的相關性的同時，保留多變量時間序列的時間軌迹。
最适合用于多變量時間序列的圖神經網絡類型是時空圖神經網絡。時空圖神經網絡以多元時間序列和外部圖結構作為輸入，預測多元時間序列的未來值或标簽。與不利用結構資訊的方法相比，時空圖神經網絡已經取得了顯著的改進。
但是，由于存在以下問題，這些方法在模組化多元時間序列時仍有不足之處：
挑戰1:未知的圖形結構。現有的GNN方法很大程度上依賴于預先雕花的圖結構來進行時間序列預測。在大多數情況下，多元時間序列沒有明确的圖結構。變量之間的關系必須從資料中發現，而不是作為基本真理知識提供。
挑戰2:圖形學習與處理GNN學習。雖然有圖結構，但大多數GNN方法隻關注消息傳遞(GNN學習)，忽略了圖結構不是最優的，需要在訓練時進行更新。接下來的問題是如何在端到端架構中同時學習時間序列的圖結構和GNN。
本文工作總結
在本文中，我們提出了一種新的方法來克服這些挑戰。如圖1所示，我們的架構由三個核心元件組成:圖學習層、圖卷積子產品和時序卷積子產品。
如圖2所示，MTGNN的最高層由圖學習層、m個圖卷積子產品、m個時序卷積子產品和一個輸出子產品組成。為了發現節點之間隐藏的關聯，圖學習層計算一個圖鄰接矩陣，這個鄰接矩陣後來被用作所有圖卷積子產品的輸入。圖形卷積子產品與時間卷積子產品互相交錯，分别捕獲空間和時間相關性。
本文主要貢獻如下：
1.據我們所知，這是第一次使用圖形神經網絡從基于圖形的角度對多變量時間序列資料進行研究。
2.我們提出了一個新的圖學習子產品來學習變量之間隐藏的空間依賴關系。該方法為GNN模型在處理資料時不需要明确的圖結構打開了一扇新的大門。
3.我們提出了一個模組化多元時間序列資料和學習圖結構的聯合架構。我們的架構比任何現有的時空圖神經網絡更通用，因為它可以處理多變量時間序列，無論是否使用預先修改過的圖結構。
4.實驗結果表明，我們的方法在4個基準資料集中的3個資料集上的性能優于現有的方法，并在兩個提供額外結構資訊的trafc資料集上達到與其他GNNs相同的性能。
實驗結果
資料集
在表1中，我們總結了基準資料集的統計資訊。
- Electricity。UCI電力負荷圖資料集包含370個客戶的每小時總用電量，如[41]所示。根據[15]，我們使用過去一周的資料(即168小時)來預測第二天(即24小時)的消耗量。
- Traffic。2015年至2016年舊金山海灣地區高速公路862個傳感器測量的道路占用率。UCI PEM-SF交通資料集描述了[41]中440條舊金山灣區高速公路的占用率(yt為[0，1])。根據電力資料集，它也按小時級别彙總，具有相同的後退視窗和預測範圍。
- Solar-Energy:國家可再生能源實驗室的太陽能資料集包含了2007年阿拉巴馬州137個光伏電站收集的太陽能輸出
- Exchange-Rate:匯率資料集包含了從1990年到2016年澳洲、英國、加拿大、瑞士、中國、日本、紐西蘭和新加坡等八個國家的每日匯率
模型
單步預測模型
1.AR"自回歸模型。
2.VAR-MLP:多層感覺的混合模型(MLP)和自回歸模型(VAR)[25]。
3.GP:高斯過程時間序列模型[6,16]。
4.RNN-GRU:具有完全連接配接的遞歸神經網絡GRU的機關。
5.LSTNet:深度神經網絡，結合卷積神經網絡和循環神經網絡[12]。
6.TPA-LSTM:注意力循環神經網絡[19]。多步預測模型。
1.DCRNN:一種擴散卷積遞歸神經網絡，它結合了擴散圖卷積和遞歸神經網絡[13]。
2.STGCN:一個時空圖卷積網絡，包含圖卷積和一維卷積[23]。
3.Graph WaveNet:一種時空圖卷積網絡，将擴散圖卷積與一維擴張卷積[21]融合在一起。。
4.ST-MetaNet:一個序列到序列的架構，使用元網絡生成參數[15]。
5.GMAN:一個具有空間和時間注意的圖形多注意網絡。
實驗結果分析
表2:多元時間序列單步預測的基線比較。
表3時空圖神經網絡多步預測的基線比較。
表5 不同圖神經網絡學習方法對比
結論
在本文中，我們介紹了用于多元時間序列預測的新穎架構。據我們所知，我們是第一個通過基于圖的深度學習方法來解決多元時間序列預測問題的人。我們提出了一種有效的方法來利用多個時間序列之間的固有依賴關系。我們的方法在各種多元時間序列預測任務中展示了出色的性能，并為使用GNN處理各種非結構化資料打開了新的大門。
關注人工智能學術前沿 回複 ：ts01
5秒免費 擷取論文pdf文檔，及項目源碼
文字來源于網絡 侵删
翻譯：人工智能學術前沿
掃碼關注我們
微信号 : zzh1464501547
qq群:966308496
今日頭條：人工智能學術前沿
知乎：人工智能學術前沿