天天看點

TensorFlow1.0正式釋出,AI圈“互怼”那些事兒 | AI科技評論周刊

編者按:本周tensorflow 1.0 正式釋出;南大教授周志華當選aaai 2019 程式主席,華人學者第一人;

雷鋒網與mxnet作者李沐暢談兩小時;lipnet與iclr評委互怼始末,谷歌工程師怼上yann

lecun,雷鋒網幫你梳理最近學術界工業界“互怼”那些事兒。

TensorFlow1.0正式釋出,AI圈“互怼”那些事兒 | AI科技評論周刊

本周,谷歌在山景城舉辦了第一屆 tensorflow 開發者峰會。作為大會的一部分,tensorflow 1.0 的正式版本被釋出出來。一起來看看它都有哪些新特性:

更快

它運算更快——tensorflow 1.0 有十分驚人的速度。它快到什麼程度呢?據谷歌表示,在使用八個 gpu 的情況下,tensorflow 1.0 在 inception v3 的測試中有 7.3 倍的速度提升。在 64 個分布式 gpu 叢集上運作,inception v3 的跑分增加了 58 倍。 不僅如此,xla(accelerated linear algebra,即加速線性代數) 還為未來進一步的性能提升打下了基礎。tensorflow 的官方網站 tensorflow.org,也上線了官方使用指南和秘訣,以幫助開發者對模型進行調參,達到最大的訓練速度。另外,雷鋒網獲知,谷歌将釋出針對幾大主流模型的實踐指導(更新版本),為如何最大化利用 tensorflow 1.0 提供指導,相信不久之後就可以看到。

更靈活

它更加靈活—— tensorflow 1.0 加入了新的進階别 api,還有 tf.layers, tf.metrics, and tf.losses 子產品。非常關鍵的是,谷歌宣布 tensorflow 1.0 内置了新的 tf.keras 子產品——後者使得 tensorflow 為 keras 提供“完全”相容支援。這在之前就傳出過風聲。作為一個在 ml 開發者當中廣為流傳的神經網絡庫,keras 的加入無疑讓 tensorflow 的使用變得更加便利。

更穩定

更适合商業化使用——tensorflow 加強了 python api 的穩定性。這使得為它加入新特征變得更加容易,而不需要推翻已有的代碼。

在舊金山參加 aaai 期間,經餘凱老師的引薦,雷鋒網ai科技評論來到了位于 palo alto 的亞馬遜aws 辦公室與李沐見了一面。

TensorFlow1.0正式釋出,AI圈“互怼”那些事兒 | AI科技評論周刊

在 aaai 的演講中,smola 拿 mxnet 的運作速度與其它開源平台做對比,而在談話中李沐表示,自己并不願意這樣簡單粗暴地做對比,他也告訴員工們,如果其它公司邀請你們做分享,一般不要做對比,隻談技術就好。

“我很了解大家愛看對比類的文章,但這是一個有偏見(biased)的做法。我們比别人快一兩倍,不是我們想表達的東西,而為什麼快,做了哪些優化,離我們的理想狀态還有哪些差距,這樣的總結可能對我來說更有價值一些。”

作為在工業界與學術界都待過的大牛,李沐雖然現在對于兩個領域的研究側重頗有心得,但在四年前,他在投遞論文時也吃過不少虧,nips、ijcai、jmlr、uai、kdd連續被拒絕的他,心情非常郁悶。2013 年 8 月,他在微網誌上無奈地寫道:

“今年往nips投了篇分布式優化的文章,自覺性能和通用性都可以beat掉度廠和谷歌的當家機器學習系統。結果收了滿滿6頁的review 真是rebuttal不能啊,不報希望去nips普及大資料了。轉身投system會議去了....”

後來回顧這段曆程時,李沐感慨道:

“做産品和做學術研究是完全不同的東西。産品的導向是解決問題的 how,效果好、簡單好用、通用性強、資源消耗低、便于實踐,也就是東西要 work(應用)。不同公司的側重點可能有些差異,比如百度對廣告的精準性要求高一些,騰訊可能需要産品簡單一些。而做學術研究時要寫清楚的是 why,最重要的是想法(idea),第二點是洞察(insight), 也就是你能把這個事情做出深層的解釋,再接下來才是結果好不好。”

他認為亞馬遜看重的是“有與無”的問題,而不是“誰”的問題。

“亞馬遜靠的是機器時間(machine hour)賺錢,而不是靠軟體與平台。是以,做社群的目的主要是為了把使用者量積累起來,而上面用的是什麼開源平台,其實并不重要。”
TensorFlow1.0正式釋出,AI圈“互怼”那些事兒 | AI科技評論周刊

雷鋒網(公衆号:雷鋒網)從aaai現任主席subbarao

kambhampati處獲悉了aaai 2019的程式主席人選,一位是密歇根大學教授pascal van

hentenryck,另一位是我們很熟悉的、來自中國南京大學計算機系的教授周志華,其作為華人學者擔任aaai大會程式主席(program

chair),這是aaai創始以來第一次。周志華教授也成為了1980年aaai大會創辦以來歐美之外國家的學者擔任aaai大會程式主席的第一人。

周志華分别于1996年6月、1998年6月和2000年12月于南京大學計算機科學與技術系獲學士、碩士和博士學位,學成後一直在南大執教。他曾在中國大陸取得所有學位,在海外最多隻連續呆過兩個月,是徹頭徹尾的‘本土學者’。周志華教授是aaai

fellow、 ieee fellow、 iapr fellow,2016年又新當選acm fellow、aaas

fellow,涵蓋了人工智能所有重要的學會,堪稱人工智能會士“大滿貫”得主。

最近幾年,aaai把國際化當成一個重要議題,越來越多來自美國之外的學者進入常務組織機構,而影響力日漸壯大的中國學者也會在aaai裡扮演更重要的角色。2016年,香港科技大學的楊強教授曾當選aaai

councilor,是華人學者第一次進入aaai執行委員會。

不可否認地,華人學者在大會中擔任越來越重要的角色,除了aaai本身國際化的需求,也是華人學者在ai領域的影響力日漸提升的結果。subbarao

kambhampati最後向雷鋒網透露,aaai正在考慮2021年讓aaai會議走出北美,雖然尚未有定論,但組委會正在讨論深圳作為aaai

2021主辦地點的可能性。

iclr 2017 4 月份馬上就要召開,openreview 的結果也陸續出來。既然是一項學術會議,自然就涉及到論文的錄取與評審。其中,一篇早在去年就火遍各大媒體的論文遭到了拒絕,并引發了一場公開辯駁。

去年

11 月的一篇論文——《lipnet: end-to-end sentence-level

lipreading》,由牛津大學人工智能實驗室、谷歌 deepmind 和加拿大高等研究院 (cifar)

聯合釋出,此文一出,很快便引來了衆多的關注,第一及第二作者 yannis assael 和 breandan shilingford

也是采訪不斷。

論文火到什麼程度呢?nvidia ceo 黃仁勳在 ces 2017 上提及了他們與牛津大學的 lipnet 團隊有合作,研發讀唇深度學習網絡模型的應用,并表示這一成果将應用于 nvidia 的協同駕駛技術上。

然而這篇論文,在今年就遭遇了

iclr 的無情拒絕。其中與評委争論得最為激烈的就是導師 nando de freitas,作為牛津大學機器學習教授,deepmind

研究科學家,還是 cifar 的

fellow,他直言評審的意見更新毫無價值,吐槽評審給出的修改意見簡直是居高臨下,站着說話不腰疼,完全是一派胡言!

而評審也是一點不手軟,最後給出的結論依然是拒絕。主要有2點評審意見:

1. 評審們非常重視論文的創新度及研究意義。 2. 經過審閱,論文确實還沒有達到入選 iclr 的标準。“論文是一篇應用性論文,作者提出了第一個用機器學習實作端到端的語句層面唇讀技術。”

最後又總結了一番:

此文的缺點在于,在研究深度學習的相關應用時,它并沒有做出巨大的技術貢獻,也沒有提出任何超出目前應用領域的新見解。

論文裡提及能将唇語的判别能力提升

10%,對于工業界也是一個很大的突破。不過,好的結果對工業界有用,但從研究的結果來說,不一定就與突破劃上等号。就像李沐此前所提及的一樣,工業界追求的是「how」,而學術界看重的是「why」,産品與研究的方向完全不同,前者追求效果,能做出東西來就是勝利,而後者更看重創新。

最近,google

brain的研究工程師eric

jang在quora上回答了“ibm、谷歌、facebook、蘋果和微軟等幾家公司裡,誰在上司着ai研究的發展?”(who is leading

in ai research among big players like ibm, google, facebook, apple and

microsoft?)這一問題,短短時間便獲得了超過4000的閱讀量。之是以獲得這麼廣泛的關注,一方面是因為eric

jang犀利的行文風格,也因為他直接對原本yann lecun的回答做出了反駁。

TensorFlow1.0正式釋出,AI圈“互怼”那些事兒 | AI科技評論周刊

eric

jang把deepmind排到第一位,google brain 、facebook

fair和openai三者并列第二,百度和微軟研究院并列第三、蘋果第四、ibm位列第10位。他認為deepmind很大程度上是如今的第一名,因為他們發表的工作成果受到研究圈的高度重視,而且都涉及到了非常頂級的議題,比如深度增強學習、貝葉斯神經網絡、機器人學、遷移學習等;也因他們從牛津大學和劍橋大學吸收了大量人才。

對于之前yann

lecun對google

brain在研究領域的評價“但是谷歌主要關注與應用和産品開發,而不是長期的ai研究工作。”是錯誤的。他說道,google

brain剛起步時的項目确實比較偏向工程,但是今天,google brain有很多員工都是專注于長期的ai研究

,而且是涉及所有可能的ai次級領域,這跟facebook fair和deepmind是類似的。

facebook

fair有16篇論文被iclr 2017大會接收,其中有3篇被選為做現場論文展示。而實際上,google brain被iclr

2017大會接收的論文數量還略略超過facebook

fair,總共有20篇,其中4篇被選為做現場論文展示。而這并沒有算上deepmind和其它谷歌内部團隊的工作(比如搜尋、vr、圖檔)。論文接收數量并非一個很好的衡量尺度,但是他以此想反駁那些暗示google

brain不善深度學習研究的暗示。

日前 ,mit的研究人員開發了一款專為自動語音識别設計的低功耗晶片。據悉,他們開發的晶片最高能将語音識别的功耗降低99%。

不管蘋果的siri,谷歌的google

assistant,還是亞馬遜的alexa,智能語音助手正在越來越普及。但是,這些虛拟助手都需要依靠語音識别,而且需要常駐背景保持開啟狀态以随時檢測語音指令,這必然會減少裝置的續航時間。mit的研究人員稱,手機上的語音識别功能的功率大約在1瓦特左右,而使用他們開發的晶片能夠将功率降低至0.2~10毫瓦。

雷鋒網了解到,通常情況下,負責語音識别的晶片會一直在背景運作神經網絡來檢測周圍所有的聲音,不管是人聲還是噪聲。而mit的這款晶片增加了一個簡單的“聲音探測”電路,它能夠識别人類的聲音,而且一旦檢測到人聲之後,就會激活更複雜的語音識别電路。這種方式就像給語音識别晶片加了一個協處理器,進而大幅降低了功耗。這意味着,未來就算是小型的電子裝置也能用上先進的語音識别系統和ai助手。

openai發表最新研究,論述了ai安全領域的一大隐憂:“對抗樣本”,它可以輕易地讓機器學習系統産生誤判,這會對ai的應用實踐産生影響。在這篇由“gans”之父ian

goodfellow領銜撰寫的文章裡,openai針對“對抗樣本”進行了防禦政策的實驗,其中有兩種方法效果顯著,但也并不能解決根本問題。

“對抗樣本”是攻擊者故意設計的,被用來輸入到機器學習模型裡,引發模型出錯的值,它就像是讓機器在視覺上産生幻覺一樣。

“對抗樣本”很有可能變得危險。比如,攻擊者可以用貼紙或一幅畫制成一個“停止”訓示牌的“對抗樣本”,以此來攻擊汽車,讓汽車将原本的“停止”訓示牌誤了解“讓行”或其它訓示牌,就像論文“practical

black-box attacks against deep learning systems using adversarial

examples”讨論的那樣。

“對抗樣本”展示出,就算是簡單的現代算法,不論是監督學習還是增強學習,就已經可以不以設計者的意願行事了,且是以令人驚訝的方式。

讓機器學習模型更穩定的傳統技術,比如與權重衰減(weight

decay)和dropout,通常不會對“對抗樣本”造成實際的防禦。到目前,隻有兩種方法有明顯防禦效果:對抗訓練(adversarial

training)和防禦淨化(defensive

distillation),然而,如果攻擊者獲得更多的計算力,那麼即使是這些特定算法,也會很容易就被攻克。

“對抗樣本”很難抵禦,因為很難為“對抗樣本”的制作過程建構一個理論模型,也是因為它們要求機器學習模型為每一個可能的輸入值産生好的輸出結果。設計出抵抗強大、具有适應性攻擊者的防禦政策,是非常重要的研究領域。

本文作者:亞萌

繼續閱讀