transformer理論、pytorch/tensorflow實作、時序預測/文本分類案例

@建立于：20210617

@修改于：20210617

1. transformer理論

• bilibili：李宏毅老師2020機器學習（深度學習）課程
• CSDN：圖解Transformer（完整版），這篇翻譯自The Illustrated Transformer
• CSDN：深度學習Transformer模型介紹
• 知乎：Transformer理論源碼細節詳解，翻譯自 harvardnlp 的The Annotated Transformer
• 知乎：Transformer詳解，包含pytorch編寫的代碼。

2. tensorflow實作及案例

2.1 tf官網實作transformer

TF官網：了解語言的 Transformer 模型

2.2 例子

• 知乎：TF 2.0 Keras 實作 Multi-Head Attention和 知乎：TF 2.0 Keras 實作 Transformer，完整代碼在github： LongmaoTeamTf /deep_recommenders
• 知乎：TensorFlow 2.0 教程-Transformer
• csdn：使用Transfromer模型做文本分類（NLP分類最佳模型），相關完整代碼在github：xiaosongshine /transfromer_keras
• csdn：【從官方案例學架構Tensorflow/Keras】搭建Transformer模型解決文本分類問題

3. pytorch實作及案例

3.1 pytorch官網實作transformer

transforme的pytorchr官網實作：Language Modeling with nn.Transformer and TorchText，子產品化的API參見Transformer Layers

3.2 例子

• 知乎：用于時間序列預測的深度Transformer模型:流感流行病例 對應的代碼是 ：LiamMaclean216 /Pytorch-Transfomer
• 知乎：Pytorch架構下的Transformer時間序列預測執行個體，利用transformer的encoder部分對Web of Science網站的論文引用量進行預測。該部落格的完整代碼在百度網盤，提取碼1234。。其參考的其他項目代碼在github上 oliverguhr /transformer-time-series-prediction
• 基于pyTorch的Transformer，時間序列預測，其參考的是官方文檔代碼。