2016深度學習統治人工智能？深度學習十大架構

2015 年結束了，是時候看看 2016 年的技術趨勢，尤其是關于深度學習方面。新智元在 2015 年底發過一篇文章《深度學習會讓機器學習工程師失業嗎？》，引起很大的反響。的确，過去一年的時間裡，深度學習正在改變越來越多的人工智能領域。google deepmind 工程師 jack rae 預測說，過去被視為對于中型到大型資料集來說最佳的預測算法的那些模型（比如說提升決策樹（boosted decision trees）和随機森林）将會變得無人問津。

深度學習，或者更寬泛地說——使用聯結主義架構的機器學習算法，可能會讓機器學習算法變成過去時，因為深度學習算法還遠遠不是飽和狀态。在未來的幾年裡，很有可能會出現一些訓練深度神經網絡的方法，讓它們能夠顯著提升性能。在優化方法、激活功能、聯結結構以及初始化步驟之間，還有一些突破出現的空間。

這很可能讓很多機器學習算法接近出局的邊緣。

那麼，2016 年是否能看作深度學習正式統治人工智能的一年？如果是這樣，我們又能為此做好什麼準備？新智元整理了業内人士關于 2016 年的深度學習技術展望，以及 2015 年深度學習最流行的 10 大架構。

iiya sutskever：openai 的研究部負責人

我們期待看到更深度的模型（deeper models），相比今天的模型，它們可以從更少的資料中學習，尤其是在非監督學習方面，會有顯著的進步。我們還可以期待，在語音識别和圖像識别領域，我們能看到更加精準而且有用的結果。

sven behnke：波昂大學全職教授，智能系統小組主任

我期待深度學習技術，會在那些日益增多的多結構資料問題中得到應用。這會給深度學習帶來新的應用領域，包括機器人，資料挖掘和知識發現。

christian szegedy：google 進階工程師

現在的深度學習算法和神經網絡，距離理論上可能的表現還很遠。相比一年以前，我們現在的視覺神經網絡模型，它的價格便宜了 5 到 10 倍，處理的參數少了 15 倍，但表現的還更好。這背後是更好的網絡結構和更好的訓練方法。我相信這僅僅是開始，深度學習算法會如此便宜，它能運作在便宜的手機裝置中，而且不用更多的硬體裝置支撐，也不需要額外的存儲器。

andrej karpathy：斯坦福大學計算機科學博士，openai 的研究工程師

我看到了一個趨勢，結構會趨于更大，更複雜。我們會建造一個超大型的神經網絡，能夠交換神經網絡元件，提前訓練部分網絡，增加新的子產品，連帶調整所有元件。例如，卷積神經網絡曾經是最大的深度神經網絡，但是今天它們被分離出來，作為新的大型神經網絡一部分。相似的，現在的這些神經網絡，也會是新一年更大型神經網絡的一部分。我們在學習樂高玩具的拼法，學會如何把它們高效拼接在一起。

pieter abbeel：uc 伯克利大學助理教授，gradescope 聯合創始人

依賴于監督技術的深度學習垂直領域，需要用新的方法（nlp）超過現有的技術表現。我們會看到深度學習在非監督學習和增強學習方面的突出表現。

eli david：deep instinct cto

在過去兩年，我們看到了深度學習在各個領域獲得很大突破。但即便如此，5 年之内并不會達到人類水準的聖杯（但我認為，終其一生這會出現）。我們在各大領域看到極大的突破。特别的，我認為最具有希望的領域，來自于非監督學習，這個世界的大部分資料是沒有标簽的，而且我們大腦本身，也是非常好的非監督學習盒子。

當 deep instinct 成為第一個在安全領域使用深度學習的公司時，可以預計有更多的公司也會使用深度學習來部署。但是深度學習的門檻還是非常高，尤其對于網際網路安全公司來說，他們其實并不使用人工智能工具（隻有很少的解決方案使用了傳統的機器學習技術）。是以深度學習要在安全領域得到大規模應用，還會經過很多年的時間。

daniel mcduff：affectiva 研究主管

在計算機視覺、語音分析以及其他領域，深度學習已成為機器學習中的支配形式。我希望使用 1 到 2 個 gpus 就能部署的準确識别系統，能夠讓開發者們把新的軟體部署到真實世界。我希望更多的焦點會放在非監督訓練，或者半監督訓練的算法上。

jörg bornschein：google 學者，在加拿大前沿技術研究院（cifar）

預測未來總是很難的。當我們在大規模系統裡考慮機器學習，在機器人控制的系統領域，或者在大規模系統裡的大腦系統，非監督、半監督和強化學習會扮演愈發重要的角色。很明顯的是，單純的監督學習方法在理論上受到太多限制，很難解決實際問題。

ian goodfellow：google 進階研究工程師

我預測在未來5年的時間裡，我們的神經網絡可以概括視訊裡發生了什麼，而且有能力生成短視訊。神經網絡已經成為視覺任務的标準解決方案。我預測神經網絡會成為 nlp 和機器人任務的标準解決方案。我還預測神經網絡會在其他科學領域扮演重要工具，例如在基因行為預測，藥物，蛋白質，新的醫療方案等。

koray kavukcuoglu & alex graves：google deepmind 研究工程師

很多事情會在未來 5 年發生。我們預測非監督學習和增強學習越發重要。我們也預測多方式學習（multimodal learning）的興起，而且會超越個體資料集進行學習。

1.keras

keras 是非常極簡、高度子產品化的神經網絡庫，用 python 寫成，而且能運作在 tensorflow 和 thenao 的頂層。它的設計初衷是實作更快的實驗，讓從想法到結果的時間盡可能少，這是做好研究的關鍵所在。

2.mxnet

輕量、便攜、靈活性強的分布式/移動深度學習系統，并能對動态的、突變的資料流進行排程。mxnet 能支援 python、r、julia、go、javascript 等程式設計語言，是出于效率和靈活性設計的深度學習架構。它能夠給深度學習程式增加一些小佐料，而且能最大化産品效率。

3.chainer

深度學習的神經網絡靈活架構。chainer 支援各種網絡架構，包括 feed-forward nets、convnets、recurrent nets 和 recursive nets。它也支援 per-batch 的架構。chainer 支援 cuda 計算，它在驅動 gpu 時隻需要幾行代碼。它也能通過一些努力，運作在多 gpus 的架構中。

4.sickit-neuralnetwork

深度神經網絡的實施，而且沒有學習崖（learning cliff）。這個庫能夠執行多層感覺器，自動編碼器和遞歸神經網絡，它運作在穩定的 future proof 互動界面，并能和對使用者更加友好的 scikit-learn 以及 python 互動界面相容。

5.theano-lights

theano-lights 是基于 theano 的研究架構，提供最近一些深度學習模型的實作，以及便于訓練和測試功能。這些模型不是隐藏起來的，而是在研究和學習的過程中，有很大的透明性和靈活性。

6.deeppy

基于 theano 高度擴充性的深度學習架構。

7.idlf

intel 的深度學習架構。

intel deep learning framework（idlf）是一個 sdk 庫，為深度神經網絡提供訓練和執行。

它包括一些 api，能夠把建構神經網絡拓撲作為計算工作流程，進行函數圖形優化并執行到硬體。我們最初的重點是驅動部署在 cpu（xeon）和 gpu（gen）上神經網絡的物體識别（imagenet 拓撲）。

這個 api 的設計，使我們未來能很容易支援更多的裝置。我們的關鍵原則是在每個 intel 支援的平台上實作最大性能。

8.reinforcejs

reinforcejs 是一個增強學習庫，能夠執行常見的增強學習算法，而且可以做 web 端的 demos。這個庫現在包括：

動态規劃方法（dynamic programming methods）

時間差分學習（temporal difference learning）（sarsa/q-learning）

deep q-learning

stochastic/deterministic policy gradients 和 actor critic 架構

9.opendeep

opendeep 是服務于 python 的一個深度學習架構，建立在 theano 的基礎上，專注在靈活性和易用性，為行業的資料科學家和前沿研究者服務。opendeep 是一個子產品化、易擴充的架構，能夠用來建構幾乎所有的神經網絡架構，以解決你的問題。

10.mxnetjs

mxnetjs 是一個 dmlc/mxnet 的 javasript 包。mxnetjs 能給浏覽器帶來最新水準的深度學習預測 api。它通過 emscripten 和 amalgamation 運作。mxnetjs 允許你在各種計算圖像中，運作最新水準的深度學習預測，并給用戶端帶來深度學習的樂趣。.

====================================分割線================================