《中國人工智能學會通訊》——2.22 通過機率規劃歸納的人類層次概念學習

盡管人工智能和機器學習取得了顯著的進步，但是機器系統始終還未能觸及人類概念性知識的兩個方面。首先，對于大多數自然和人工的類别，人們可以僅從一個或少量的一些樣例中學得一個新概念，而标準的機器學習算法則需要幾十或上百的樣例來達到類似的能力。例如，人們可能隻需要看到一種新型兩輪車的一個樣例（見圖 1A），就可以掌握這個新概念的範疇，甚至連孩子們都可以利用“單次學習”形成有意義的泛化能力。相反，很多領先的機器學習算法卻恰恰對資料需求極高，特别值得一提的就是目前在物體和語音識别基準集上性能達到新高度的“深度學習”模型。其次，即使對于簡單的概念（見圖 1B），人們也可以比機器學得更加豐富的表達用于各種用途，包括創造新樣例（見圖 1B ii），将物體解析為部件及關系（見圖1B iii），以及基于現有的類别創造新的抽象類别（見圖 1B iv）。相反，即使是最好的機器分類算法也不能實作這些額外的功能，這些功能往往很少被研究或者通常需要特定的算法來實作。是以我們面臨的一個核心挑戰就是如何來解釋人類層次概念學習的這兩個方面，即人們是如何通過一個或很少的樣例學得新概念？以及人類是如何學得這些抽象、豐富而且靈活的表達？如果把兩者結合在一起，則提出了一個更大的挑戰：如何能從如此稀疏的資料中成功地學得豐富的表達？對于任何一個學習理論而言，為了達到某種好的泛化名額（通常指新舊樣例上的性能差别），拟合的模型越複雜隻會需要更多而不是更少的資料。然而，人類卻似乎可以極為機智地掌控這種權衡，使得從稀疏的資料中仍然可以學得豐富的概念實作很好的泛化。

本文介紹了一套貝葉斯規劃學習（BPL）架構，它能夠從單個樣例學得一大類視覺概念，并且達到幾乎和人類一樣的泛化能力。在這裡，概念被表示為簡單的機率規劃——機率生成模型，常用某種抽象描述語言下的結構化過程來刻畫。此架構整合了三個核心原則——組合性、因果性和學會學習——這些原則在過去的幾十年間對認知科學和機器學習都分别産生過很深的影響。通過規劃，豐富的概念就可以從很多簡單的基元“組合”而成。這種機率語義通過（不同于其他機率模型的）過程化的方式，自然地捕捉到從類别産生樣例這個過程中所蘊含的抽象的“因果”結構，進而能處理噪聲以及支援創造性的泛化。學習的過程是通過在某種貝葉斯準則下不斷地建構最能解釋目前觀測的規劃來進行的，模型通過建構階層化先驗使得先前在相關概念上的經驗能夠幫助簡化對新概念的學習，進而實作“學會學習”。這些先驗代表了一種學得的歸納性偏向，是對某個領域下概念類型和不同概念執行個體所共同遵從的核心規則與變異次元的抽象。簡言之，BPL 可以通過已有的規劃建構新的規劃，捕捉到實際生成過程中不同尺度上的因果性群組合性性質。

除了建構上面描述的方法，我們還直接在五個挑戰性的概念學習任務（見圖 1B）上直接比較了人類、BPL 和其他計算方法的性能。這些任務采用了來自 Omniglot 資料集的簡單的視覺概念，Omniglot 資料集（見圖 2）是我們從 50 個書寫系統中采集到的 1 623 個手寫字元的多種樣例。我們同時收集了字元的圖檔以及筆畫，細節可見線上補充材料中的 S1 章節。手寫字元對于比較人類和機器學習提供了相對平等的基礎：它們既是認知自然的，又經常被用來作為基準集比較不同的學習算法。機器學習算法通常是在對每個類别成百上千的樣例學習之後再進行評價，然而這裡我們對新樣例的分類、解析（見圖 1B ii）和生成（見圖 1B iii）這些任務的評價卻用了最具挑戰的方式，即僅僅通過對新概念的一個樣例的學習。此外還通過讓人類和計算模型産生新概念（見圖 1B iv）的方式，研究它們在創造性任務上的性能。我們将 BPL 模型和三個深度學習模型、一個經典的模式識别算法，以及BPL 模型的多個殘缺版本進行對比——與殘缺版本的對比可以分析每個模型要素的單獨作用。另外對比了作為目前領先的物體識别算法代表的深度卷積網絡的兩個變種，以及一個層次深度模型（HD），該模型為我們更多的生成任務所需并且專用于單次學習。