2017年已經結束了，還有什麼比回顧這一整年中AI的發展曆程更激動人心的嗎？
AI大事件的作者Denny Britz梳理了2017整年的AI大事，人工智能從研究到應用領域的回顧，都在這篇AI超大事件裡了。
強化學習在很多遊戲上達到了超人表現
遺傳算法東山再起
對于監督式學習，使用反向傳播算法的基于梯度的方法對于研究者來說已經非常熟練了。但同時，在強化學習中，進化政策（ES）似乎正在東山再起。由于資料通常不是iid（獨立且分布相同）的，是以錯誤信号更加稀疏，而且由于需要進行探索，是以不依賴于梯度的算法可以更好地工作。此外，遺傳算法可以線性擴充到數千台機器，進而實作極快的并行訓練，不需要昂貴的GPU
今年早些時候，來自OpenAI的研究人員證明，遺傳算法可以實作與标準的強化學習算法（如Deep Q-Learning）相媲美的性能。今年年底，Uber的一個團隊釋出了一篇博文和一組五篇研究論文，進一步展示了遺傳算法的潛力。下面這個視訊展示了使用各種算法玩Atari遊戲的得分情況，GA政策得分為10500，而DQN，AC3和ES在這個遊戲中得分低于1,000。
WaveNets，CNN和注意機制
谷歌的Tacotron 2文本轉語音系統産生了極其精準的音頻樣本，這項技術基于WaveNet。這是一種自動回歸模型，也被部署在谷歌助理中，并在過去一年中實作了大幅的速度提升。 WaveNet之前也被應用于機器翻譯，進而減少了經常性架構的訓練時間。
從機器學習子領域看，花費很長時間進行訓練的經常性架構逐漸成為一種趨勢。研究人員完全擺脫了複發和卷積，并使用更複雜的注意力機制，達到了在訓練成本很低的情況下的最高水準。
深度學習架構的一年
如果我不得不用一句話總結2017年，那我會說是“架構的一年”。Facebook使用PyTorch做了一個大躍進。 由于其動态圖形結構與Chainer提供的類似，PyTorch從自然語言處理的研究人員那裡得到了更多的青睐，他們經常需要處理在Tensorflow等靜态圖形架構中很難聲明的動态和循環結構。
Tensorflow在2017年已經相當成功.Tensorflow 1.0在2月份釋出了一個穩定且向後相容的API。 目前，Tensorflow的版本是1.4.1。 除主架構之外，還釋出了多個Tensorflow伴随庫，包括用于動态計算圖的Tensorflow Fold，用于資料輸入管道的Tensorflow Transform以及DeepMind的更進階别的Sonnet庫。 Tensorflow團隊還宣布了一個新的熱切執行模式，其工作方式類似于PyTorch的動态計算圖。
除Google和Facebook之外，還有許多其他公司也加入了機器學習架構的行列：
蘋果公司釋出了CoreML移動機器學習庫。
Uber的一個團隊釋出了Pyro，一種深度機率程式設計語言（Deep Probabilistic Programming Language）。
亞馬遜（Amazon）宣布在MXNet上提供更進階别的API，即Gluon。
Uber釋出了其内部米開朗基羅機器學習基礎設施平台的詳細資訊。
而且由于架構的數量逐漸泛濫，Facebook和微軟釋出了ONNX開放格式，以便跨架構共享深度學習模式。 例如，您可以在一個架構中訓練您的模型，然後在另一個架構中投入生産。
除了通用的深度學習架構外，我們還看到大量的強化學習架構正在釋出中，其中包括：
OpenAI Roboschool是一款用于機器人仿真的開源軟體。
OpenAI Baselines是一套強化學習算法的高品質實作庫。
Tensorflow代理包含優化的基礎設施，使用Tensorflow來訓練RL代理。
Unity ML Agents允許研究人員和開發人員使用Unity Editor建立遊戲和模拟，并使用強化學習進行訓練。
Nervana Coach允許使用最先進的強化學習算法進行實驗。
Facebook的遊戲研究ELF平台。
DeepMind Pycolab是一個可定制的網格世界遊戲引擎。
Geek.ai MAgent是一個多代理強化學習的研究平台。
為了讓深度學習更容易部署，我們也看到了一些Web的架構，比如谷歌的deeplearn.js和MIL webdnn執行架構。但至少有一個非常流行的架構在2017年結束了它的生命，那就是Theano，開發商決定Theano 1.0将成為Theano的最後一個版本。
學習資源
随着深度學習和強化學習越來越受歡迎，越來越多的講座，訓練營和活動已經在2017年線上錄制和釋出。以下是我最喜歡的一些：
由OpenAI和加州大學伯克利分校聯合主辦的Deep RL Bootcamp講授了關于強化學習的基礎知識以及最新研究成果。
斯坦福大學2017年春季版視覺識别卷積神經網絡課程。可以檢視課程網站。
斯坦福大學自然語言處理與深度學習課程2017年冬季版。 可以檢視課程網站。
斯坦福的深度學習理論課程。
新的Coursera深度學習專業。
蒙特利爾的深度學習和暑期加強學校。
加州大學伯克利分校2017年秋季深度強化學習課程。
幾個學術會議延續了在網上釋出會議的新傳統。 如果您想趕上尖端的研究，您可以觀看NIPS 2017，ICLR 2017或EMNLP 2017的一些錄像。
研究人員也開始在arXiv上釋出教程和調查論文。 這是2017年中我的最愛：
Deep Reinforcement Learning: An Overview
A Brief Introduction to Machine Learning for Engineers
Neural Machine Translation
Neural Machine Translation and Sequence-to-sequence Models: A Tutorial
AI應用之“藝術”
2017年開始獲得更多關注的應用是圖像，音樂，草圖和視訊的生成性模組化。 NIPS 2017年會議首次推出了機器學習創意與設計研讨會。
最流行的應用程式之一是谷歌的QuickDraw，它使用神經網絡來識别你的塗鴉。 使用開源的資料集，您甚至可以教機器為您完成您的繪圖。
GANs今年取得了重大進展。 例如，CycleGAN，DiscoGAN和StarGAN等新模型在生成人臉方面取得了令人印象深刻的成果。 GANs在過去難以生成逼真的高分辨率圖像，但pix2pixHD的結果表明，研究者們正在解決這些問題。 GANs會成為人類的新畫筆嗎？讓我們在2018年拭目以待。
AI應用之“自動駕駛”
自駕車領域的大玩家是Uber和Lyft，Alphabet的Waymo和Tesla。 由于軟體錯誤，Uber在舊金山錯過了幾盞紅燈。之後，Uber分享了内部使用的汽車可視化平台的細節。Uber的自駕車計劃在12月份達到了200萬英裡。
與此同時，Waymo的自駕車在四月份成為了第一批真正的AI車手，後來在亞利桑那州的鳳凰城完全取消了操作人員。 Waymo還公布了他們的測試和模拟技術的細節。
那些酷酷的研究項目
2017年釋出了許多有趣的項目，在這裡不可能一一列舉。 隻能對那些脫穎而出的稍作介紹：
Creating Anime characters with Deep Learning
Colorizing B&W Photos with Neural Networks
Mario Kart (SNES) played by a neural network
A Real-time Mario Kart 64 AI
Spotting Forgeries using Deep Learning
Edges to Cats
更偏向研究的項目：
The Unsupervised Sentiment Neuron – 一個學習情緒的優秀系統，盡管隻是被用來預測亞馬遜評論文本中的下一個字元。
Learning to Communicate – 開發自己語言的人工智能代理。
The Case for Learning Index Structures – 使用神經網絡優化高速緩存的B-樹，速度高達70％，同時通過多個實際資料集在記憶體中節省數量級。
Attention is All You Need
Mask R-CNN – 對象執行個體分割的一般架構
Deep Image Prior for denoising, superresolution, and inpainting
資料集
用于監督學習的神經網絡以資料饑餓而聞名。 是以開源資料集對研究界來說是一個非常重要的貢獻。 以下是今年出現的幾個資料集：
Youtube Bounding Boxes
Google QuickDraw Data
DeepMind Open Source Datasets
Google Speech Commands Dataset
Atomic Visual Actions
Several updates to the Open Images data set
Nsynth dataset of annotated musical notes
Quora Question Pairs
深度學習的挑戰：可重複性和煉金術
在2017年，一些研究人員對學術論文結果的可重複性提出了擔憂。深度學習模型通常需要大量的超參數，必須對其進行優化才能獲得足夠好的結果。這種優化通常非常昂貴，昂貴到隻有像Google和Facebook這樣的公司才能負擔得起。研究人員并不總是釋出他們的代碼，并且出于各種原因忘記把重要的細節放到完成的論文中，這使得可重複性成為一個很大的問題。在Reinforcement Learning That Matters這篇文章中，研究人員表明，使用相同的算法和不同的基礎代碼使得結果出現了很大的不同和很高的方差：
在Are GANs Created Equal? A Large-Scale Study這篇文章中，研究者表明，使用昂貴的超參數搜尋進行調整的GAN可以擊敗更為複雜的方法。同樣，在 On the State of the Art of Evaluation in Neural Language Models中，研究人員表明，簡單的LSTM架構，如果适當規範化和調整，可以勝過更多的近期模型。
在許多研究人員的共同努力下，阿裡·拉希米（Ali Rahimi）将最近的深度學習方法與煉金術進行了比較，并呼籲進行更嚴格的實驗設計。然而Yann LeCun将他的講話視作對深度學習的侮辱，并在第二天進行了反駁。
中國和加拿大的人工智能發展
随着美國移民政策收緊，越來越多的公司開始在海外開設辦事處，加拿大成為主要目的地。 Google在多倫多開設了一個新的辦公室，DeepMind在加拿大埃德蒙頓開設了一個新辦公室，Facebook AI Research也擴充到了蒙特利爾。
硬體大戰：Nvidia, Intel, Google, Tesla
炒作和失敗
對于人工智能的炒作在2017年達到了新的巅峰，主流媒體的報道與研究實驗室或生産系統實際發生的事情幾乎從不相符。IBM Watson成為了過度營銷的傳奇，但它卻從未提供相應的、令人滿意的成果。今年，每個人都開始讨厭Watson，這在它于醫療方面一再失敗之後也并不奇怪。
然而更值得注意的是，不僅僅媒體應當因為炒作被釘在曆史的恥辱柱上。研究人員也在論文的标題和摘要中大吹特吹，這些标題和摘要不能反映實際的實驗結果，比如 natural language generation paper和 Machine Learning for markets.
高調招聘和離職
初創企業投資和收購
就像去年一樣，AI創業的生态系統正在蓬勃發展，并進行了幾次高調的收購：
Microsoft收購了深度學習創業公司MAluuba
Facebook收購AI助理公司Ozlo
Samsung收購Fluently來建設Bixby
很多創業公司也拿到了巨額風投：
Mythic籌集了880萬美元，意圖将AI內建到晶片上
Element AI，為公司建立人工智能解決方案的平台，籌集了1.02億美元
Drive.ai籌集了5000萬美元，并将Andrew Ng加入董事會
Graphcore籌集了3000萬美元
Appier釋出了3300萬美元的C系列
Prowler.io籌集了1300萬美元
Sophia Genetics籌集了3000萬美元幫助醫生使用AI和基因組資料進行診斷
原文釋出時間為：2018-01-02
本文作者：文摘菌