如果你準備發NLP方向的論文，或準備從事科研工作或已在企業中擔任NLP算法崗的工作。那麼我真誠的向大家推薦，貪心學院《自然語言處理高階研修班》，目前全網上應該找不到類似體系化的課程。課程精選了四大主題進行深入的剖析講解，四個子產品分别為預訓練模型、對話系統、知識圖譜、文本生成。
01 課程大綱
課程内容上做了大幅度的更新，課程覆寫了從預訓練模型、對話系統、資訊抽取、知識圖譜、文本生成所有必要的技術應用和學術前沿。課程采用全程直播授課模式。帶你全面掌握自然語言處理技術，能夠靈活應用在自己的工作中；深入了解前沿的技術，為後續的科研打下基礎；通過完成一系列課題，有可能成為一個創業項目或者轉換成你的科研論文。
第一章：預訓練模型基礎
- | 預訓練模型基礎、語言模型回顧
- | N-gram、Neural語言模型回顧
- | 預訓練方法的發展曆程
- | 預訓練和transfer learning
- | Pre-BERT時代的transfer learning
- | word2vec，transfer learning in NER
- | Post-BERT時代的transfer learning
- | Pre-train fine-tune範式
第二章：ELmo與BERT
- | Elmo、Transformer、BERT
- | 更強的BERT：RoBERTa
- | 基于Elmo和BERT的NLP下遊任務
- | Huggingface Transformers庫介紹
- | 建構基于BERT的情感分類器
第三章: GPT系列模型
- | GPT、GPT2、GPT3
- | 基于GPT的fine-tuning
- | 基于GPT的Zero-shot learning
- | 基于GPT模型的文本生成實戰
- | Top-k + Top-p 采樣
- | 基于給定Prompt生成續寫文本
第四章: Transformer-XL與XLNet
- | 處理長文本
- | Transformer-XL
- | 相對位置編碼
- | Permutation Language Model
- | Two-stream attention
- | XLNet
- | 更進階的預訓練任務：MPNet
第五章：其他前沿的預訓練模型
- | 考慮知識的預訓練模型：ERINE
- | 對話預訓練模型：PLATO2, DialoGPT
- | SpanBERT
- | MASS，UniLM
- | BART，T5
- | 實作基于T5的文本分類模型
第六章: 低計算量下模型微調和對比學習
- | 低計算量情況下的預訓練模型微調
- | Adapter-based fine-tuning，
- | Prompt-search，P-tuning
- | 基于對比學習的預訓練
- | 對比學習目标：Triplet Loss，InfoNCE Loss
- | 對比學習在NLP中的前沿應用：SimCSE
第七章：多模态預訓練和挑戰
- | 多模态預訓練模型
- | 多模态比對模型：CLIP，文瀾
- | VQ-VAE
- | 多模态生成模型：DALLE，CogView
- | 預訓練模型面臨的挑戰及其前沿進展
- | 模型并行帶來的挑戰
- | 對于Transformer的改進：Reformer
第一章：對話系統綜述
- | 對話系統發展曆程
- | 對話系統的主要應用場景
- | 常見的對話系統類别以及采用的技術
- | 對話系統前沿的技術介紹
- | 基礎：語言模型
- | 基礎：基于神經網絡的語言模型
第二章：對話系統綜述
- | 任務型對話系統的總體架構
- | 案例：訂票系統的搭建
- | 自然語言了解子產品簡介
- | 對話管理子產品技術
- | 對話生成模型技術
- | 基于神經網絡的文本分類和序列标注
第三章：自然語言處理了解子產品
- | 自然語言了解子產品面臨的挑戰
- | NLU模型中意圖和槽位的聯合識别
- | 考慮長上下文的NLU
- | NLU中的OOD檢測
- | NLU模型的可擴充性和少樣本學習
- | 少樣本學習方法介紹
- | 孿生網絡、比對網絡、原型網絡
第四章：對話管理和對話生成
- | 對話狀态追蹤
- | 對話政策詳解
- | POMDP技術
- | 對話管理的最新研究進展
- | 基于RL的對話管理
- | 對話生成技術
- | 端到端的對話系統
- | 基于預訓練模型的DST
第五章：閑聊對話系統
- | 閑聊對話系統基礎技術
- | 基于檢索的閑聊對話系統
- | 基于生成的閑聊對話系統
- | 融合檢索和生成的閑聊對話系統
- | Protoype rewriting, Retrieval augmented generation
- | 閑聊對話系統的主要應用場景
- | 閑聊對話系統技術所面臨的主要挑戰
- | FAQ系統實戰，實作一個自己的FAQ系統
- | 基于RNN/Transformer/BERT的文本比對模型
第六章：對話系統進階
- | 情感/共情對話系統
- | 生成帶情緒的回複
- | 個性化對話生成
- | 生成符合特定個性人設的回複
- | 風格化對話生成
- | 對話回複的多樣性
- | Label Smoothing, Adaptive label smoothing
- | Top-K Sampling, Nuclear Sampling
- | Non-autoregressive 算法在生成模型中的應用
- | 基于Transformer的對話生成模型
- | TransferTransfo
第七章：開源對話系統架構RASA詳解
- | RASA的主要架構
- | 基于RASA搭建自己的對話系統
- | 多模态對話、VQA
- | 考慮圖像模态的對話回複檢索和生成
- | 基于預訓練模型的對話系統
- | 基于GPT模型的對話模型
- | Meena，PLA
第一章：知識圖譜與圖資料模型
- | 知識圖譜：搜尋引擎，資料整合，AI
- | 實體抽取、關系抽取、詞向量
- | graph embedding
- | 圖資料模型：RDF, Cyper
- | 結構化資料的關系抽取
- | 介紹關系抽取的基本方法
- | 介紹結構化資料的資訊過濾
第二章：知識圖譜的設計
- | RDF和Property graph的設計
- | 建立KG：資料處理、文本和圖像
- | 推斷用到的基本方法
- | Path detection
- | Centrality and community Detection
- | 圖結構嵌入方法
- | 重要性的基本方法：node，edge
第三章：關系抽取和預測
- | Hand-built patterns
- | Bootstrapping methods
- | Supervised methods
- | Distant supervision
- | Unsupervised methods
- | 實體識别的基本方法
第四章：低資源資訊抽取和推斷
- | Low-resource NER
- | Low-resource structured models
- | Learning multi-lingual Embeddings
- | Deepath
- | DIVA
- | Generic Statistical Relational Entity Resolution in Knowledge Graphs
第五章：結構化預測模型
- | Sequence labeling
- | 結構化資料類别：Dependency，constituency
- | Stack LSTM
- | Stack RNNS
- | Tree-structure LSTM
第六章：圖挖掘的熱門應用
- | 基本圖概念
- | Link Prediction
- | Recommendation system
- | Anomaly detection
- | Gated Graph Sequence Neural Networks
第一章：Seq2Seq模型與機器翻譯
- | Seq2seq 模型與機器翻譯任務
- | 機器翻譯中未登入詞UNK與subword
- | 文本生成coverage
- | length normalization
- | 低資源語言生成
- | 多任務學習
- | Tearch Force Model
第二章：文本摘要生成（1）
- | 摘要生成技術類别
- | 生成式摘要生成技術
- | 抽取式摘要生成技術
- | 基于CNN的文本生成
- | 基于RNN的文本生成
第三章：文本摘要生成（2）
- | Pointer Network 及其應用
- | CopyNet 于工業界的落地
- | Length Normalization
- | Coverage Normalization
- | Text summarization 前沿研究
第四章：Creative Writing
- | 可控性文本生成
- | Story Telling 與預先訓練GPT
- | 詩詞，歌詞，藏頭詩等文本生成
- | 創作性文本生成技巧
第五章：多模态文本生成
- | ResNet
- | Inception 等預訓練圖檔特征抽取模型
- | Image Caption 及其應用
- | Table2text
- | 圖神經網絡與文本生成
第六章：對抗式文本生成與NL2sql
- | 對抗生成網絡 GAN模型
- | 強化學習基礎
- | 基于 Policy Gradient 的強化學習
- | SeqGAN
- | NL2sql ：自然語言轉SQL
如果對課程感興趣，請聯系
添加課程顧問小姐姐微信
報名、課程咨詢
????????????
02 部分案例和項目
學員可以選擇每個子產品完成我們提供的固定項目（以個人為機關），或者以小組為機關完成一個開放式項目（capstone），當然你也可以提出你自己的項目。從項目的立項、中期驗收到最終答辯，在這個過程中我們的導師團隊會給你建議、并輔助你完成課題， 該課題最終很有可能成為你的創業項目或科研論文！
如果對課程感興趣，請聯系
添加課程顧問小姐姐微信
報名、課程咨詢
????????????
03直播授課，現場推導示範
差別于劣質的PPT講解，導師全程現場推導，讓你在學習中有清晰的思路，深刻的了解算法模型背後推導的每個細節。更重要的是可以清晰地看到各種模型之間的關系！幫助你打通六脈！
▲源自：LDA模型講解
▲源自：Convex Optimization 講解
▲源自：Convergence Analysis 講解
04 科學的課程安排
采用直播的授課方式，每周3-4次直播教學，包含核心理論課、實戰課、複習鞏固課以及論文講解課。教學模式上也參考了美國頂級院校的教學體系。以下為其中一周的課程安排，供參考。
02 項目講解&實戰幫助
訓練營最終的目的是幫助學員完成項目，了解項目中包含核心知識技能，訓練營中會花大量的時間幫助學員了解項目以及所涉及到的實戰講解。
▲節選往期部分課程安排
03 專業的論文解讀
作為AI工程師，閱讀論文能力是必須要的。在課程裡，我們每1-2周會安排一篇經典英文文章供學員閱讀，之後由老師幫助解讀。
▲僅供參考
04 代碼解讀&實戰
對于核心的模型如BERT，XLNet都會精心安排代碼解讀和實戰課，幫助學員深入了解其細節并有能力去實作。
▲BERT模型代碼實戰講解
05 行業案例分享
訓練營過程中會邀請合作的專家來分享行業案例以及技術解決方案，如知識圖譜的搭建、保險領域的客服系統等。
▲專家分享
《Google YouTube 基于深度學習的視訊推薦》
嘉賓簡介：曾博士
計算機視覺，機器學習領域專家
先後在CVPR，ACMMM，TPAMI，SCI 期刊，EI 會議等發表超過30篇論文
06 日常社群答疑
為了幫助解決學員遇到的問題，專業助教會提供全天社群答疑服務。我們的助教均來來自于一線AI公司和國内外名校，紮實的理論和工業界應用也是我們選拔助教老師的重要标準，拒絕空談理論。
▲社群内老師專業的解答
07 日常作業&講解
為了鞏固對一些核心知識點，學員除了大項目，也需要完成日常的小作業。之後助教會給出詳細的解答。
▲課程學習中的小作業
适合什麼樣的人來參加呐？
- 從事AI行業多年，但技術上感覺不夠深入，遇到了瓶頸；
- 停留在使用模型/工具上，很難基于業務場景來提出新的模型；
- 對于機器學習背後的優化理論、前沿的技術不夠深入；
- 計劃從事尖端的科研、研究工作、申請AI領域研究所學生、博士生；
- 打算進入頂尖的AI公司如Google，Facebook，Amazon， 阿裡等；
- 讀ICML，IJCAI等會議文章比較吃力，似懂非懂，無法把每個細節了解透。
05 報名須知
1、本課程為收費教學。
2、本期招收學員名額有限。
3、品質保障！學習不滿意，可在開課後7天内，無條件全額退款。
4、學習本課程需要具備一定的機器學習基礎和Python程式設計基礎。
●●●
如果對課程感興趣，請聯系
添加課程顧問小姐姐微信
報名、課程咨詢
????????????