AI開發者大會：2020年7月3日09:50--10:10唐傑《人工智能的下一個十年》

AI開發者大會：2020年7月3日09:50--10:10唐傑《人工智能的下一個十年》

導讀：人工智能的第三次浪潮中，超越深度學習—ML和DL需要結合符号AI；自監督學習将會大放異彩。

• Next10——認知與推理：大資料+知識+智能，從感覺到認知；認知圖譜，算法與認知科學的結合。知識圖譜，認知推理，邏輯表達。
• Next30——意識(讓計算機具有自我意識)：認知與推理+記憶+自我意識。有監督、無監督、強化、注意力，結合fine-tune可以實作全局工作理論。

部落客評論：說實話，正好與部落客前段時間被采訪時所說的看法不謀而合，部落客當時在展望AI未來的時候，就特别強調了無監督學習的重要性，以及在走向強AI的路上，非常有必要對AI+意識進行深度探讨與分析。

目錄

​​2020年7月3日09:50--10:10唐傑《人工智能的下一個十年》​​

​​人工智能的第三次浪潮​​

​​AI趨勢：從感覺到認知​​

​​回顧機器學習​​

​​2018年的預訓練模型BERT​​

​​自監督學習——MoCo​​

​​第三代人工智能​​

​​超越深度學習—ML和DL需要結合符号AI​​

​​算法是核心，計算機、資料是基礎​​

​​認知圖譜(Cognitive Graph) 一知識圖譜，認知推理，邏輯表達 ​​

​​認知圖譜：算法與認知的結合​​

​​和認知科學的結合​​

​​認知圖譜的推理模型​​

​​認知圖譜的推理模型：System1 VS System2​​

​​認知圖譜的推理效果​​

​​挑戰與未來​​

​​Next10——認知與推理：大資料+知識(Knowledge)+智能(Intelligence)​​

​​Next30——意識(讓計算機具有自我意識)：認知與推理(Reasoning)+記憶(Memory)+自我意識(Consciousness)​​

​​意識：全局工作理論——GWT​​

2020年7月3日09:50--10:10唐傑《人工智能的下一個十年》

人工智能的第三次浪潮

AI趨勢：從感覺到認知

回顧機器學習

2018年的預訓練模型BERT

自監督學習——MoCo

• 無需标記樣本，即可學習圖形表示
• Momentum contrastive learning
• 效果甚至超過有監督學習結果

第三代人工智能

• 第一代——符号Al：符号模型 ／規則模 型／感覺機。
• 第二代——感覺智能：大資料驅動的統計學習方法初步實作 了針對文本、圖像 、語音等的感覺與識别。
• 第三代——認知智能：張拔院士2016年提出第三代 人工智能雛形，DARPA 2018 年釋出Al Next計劃。核心思路是推進統計與知識推理融合的計算；與腦認知的融合。
• 目前急需的是高品質超大規模知識圖譜（Al的基礎設施）以及對知識的了解能力（面向認知的深度學習算法)。

超越深度學習—ML和DL需要結合符号AI

算法是核心，計算機、資料是基礎

認知圖譜(Cognitive Graph) 一知識圖譜，認知推理，邏輯表達

認知圖譜：算法與認知的結合

Question:  Who is the director of the 2003 film which has scenes in it filmed at the Quality Cafe in Los Angeles? 

提問：誰是這部2003年的電影的導演，這部電影的場景是在洛杉矶的Quality咖啡館拍攝的?

和認知科學的結合

認知圖譜的推理模型

• System 1: 一Knowledge expansion by association in text when reading
• System 2: 一Decision making w/ all the information

認知圖譜的推理模型：System1 VS System2

認知圖譜的推理效果

挑戰與未來

Next10——認知與推理：大資料+知識(Knowledge)+智能(Intelligence)

Next30——意識(讓計算機具有自我意識)：認知與推理(Reasoning)+記憶(Memory)+自我意識(Consciousness)

意識：全局工作理論——GWT

以下觀點來自Carnegie Mellon University的圖靈獎得主Manuel Blum的分析

• 有意識學習：所謂的有意識學習，就是有目标的機器學習，給定資料，訓練一個模型 ，通過模型進行分類（決策），是以有意識學習輸出是一個短期記憶模型，但這個短期記憶模型比較簡單：資料有限、無背景知識。
• 無意識學習：是以無意識就對應着長期記憶模型，長期記憶模型有點類似半監督或者無監督學 習模型，或者當下比較流行的預訓練和自監督學習；無意識處理對應多種長期記憶，是以無意識可以考慮多個不同的處理器，這些處理器之間 可以有連結，也可以沒有，很多時候是并行處理，
• 但針對特定任務，比如有意識思考某個問題的時候，形成特定連接配接，包括無意識處理器（無監督模型）和有意識處理器（有監督模型）之間的連接配接，這裡可以考慮 成fine-tune。當然連接配接權重可以通過外界回報強化學習來實作。無意識處理器之間的連接配接以及和有意識處理器之間的連接配接可以類比為注意力機制。
• 最後值得注意的是長期記憶的構造和實作，人腦記憶儲存的是模型圖，而不是概念圖。每個長期記憶都可能是一個模型，可以生成樣本， 具體學習方法，可以想象一下是一個層次聚類。通過這樣就可以用有監督、無監督、強化、注意力、fine-tune來實作GWT模型。