1、文章資訊
《STGRAT: A Spatio-Temporal Graph Attention Network for Traffic Forecasting》。
南韓大學被AAAI 2020 接收的一篇文章。
2、摘要
本文提出了一種新的時空圖注意算法，它能有效地捕捉道路網絡的時空動态。我們的方法主要包括空間注意力、時間注意力和空間标記向量。空間注意力擷取圖形結構資訊(如道路之間的距離)，并根據道路狀态動态調整空間相關性。時間注意力負責捕捉交通速度的變化，而标記向量允許模型從空間相關節點檢索新特征或保留現有特征。實驗結果表明，STGRAT的性能優于現有的模型，特别是在交通速度快速變化的情況下(如交通高峰期)。此外，我們還提供了定性研究，分析STGRAT主要在什麼時候、在什麼地方工作，以便在高峰時間做出準确的預測。
3、簡介
既有的交通速度預測深度學習模型有以下缺點。既有模型假設道路之間的空間依賴關系固定。換句話說，他們隻計算一次空間依賴關系，并且一直使用計算結果，而不考慮動态變化的交通條件。GaAN (Zhang et al. 2018)利用注意力機制應用了不同的道路空間相關性。然而，GaAN沒有考慮交通流方向和總體圖結構資訊(例如，節點之間的距離)，這些資訊在決定走哪條道路時起着重要的作用。其次，有使用循環神經網絡(RNNs)進行時間模組化的模型。然而，RNNs不能直接通路長輸入序列中的過去特征，這意味着在捕獲長時間相關性方面存在限制。
本文基于自注意力機制提出了一個新的時空圖注意網絡(STGRAT)用于預測交通速度。STGRAT利用空間和時間的注意力來有效地捕捉道路網絡中的時空相關性。與前面提到的使用RNNs進行時間模組化的模型不同，STGRAT可以通過使用時間注意力直接通路輸入序列的遠端特征，而不受任何限制。空間注意力通過圖形結構資訊，如節點之間的距離和交通流方向，對道路之間的空間依賴性進行模組化。為了進一步提高預測精度，我們在空間注意力中加入了标記向量。我們展示了注意力子產品的熱度圖，它揭示了STGRAT在何時何地進行預測。
4、相關工作
通過對道路交通的時空相關性模組化，建立了多種深度學習模型來預測短期交通狀況。圖卷積神經網絡(graph convolution neural network, GCNN) (Kipf and Welling 2016)已經成為空間關系模組化的熱點。GCNN将傳感器節點網絡視為一種圖，并基于卷積系數将相鄰節點的資訊聚合成特征。這些系數是由空間資訊(例如節點之間的距離)計算出來的。
雖然有效，現有的方法使用常量系數，隻計算一次适用于所有交通條件。然而，當空間相關是可變的(如速度突變)時，固定系數可能會導緻精度不高。與現有模型相比，STGRAT通過根據相鄰節點的目前狀态和更多的空間資訊(如距離、節點連通性、流方向)動态調整相鄰節點的系數來提高精度。
Vaswani等人提出了一種新型的自注意力網絡Transformer (Vaswani et al. 2017)，該網絡能夠通過使用多個multi-head self-attention heads動态捕獲給定上下文的各種句法和語義特征。與傳統的長短時記憶(LSTM)相比，自注意力機制有額外的優勢，因為它的過程可以很容易地并行，而且不管接受域的覆寫範圍如何，它都會直接處理相關的輸入項。由于這些優點，Transformer還貢獻了許多其他功能提高NLP任務的準确性。
雖然以前的模型可以用來代替基于gcnn的空間模組化，但是它們都有一個缺點——它們沒有在空間依賴模組化過程中考慮圖結構中嵌入的資訊，例如節點之間的距離和流方向。與之前的模型相比，STGRAT有一個新穎的空間注意力機制，可以考慮所有的圖結構資訊。
5、主體内容
文章利用過去12個時間段的速度資料預測未來12個時間段的曆史資料，采用了encoder-decoder architecture。(主體介紹部分明天再發)
