天天看點

英特爾AI CTO:人工智能訓練需要新型晶片架構

英特爾人工智能産品集團新上任的首席技術官amir khosrowshahi表示,當你使用gpu水準較低的時候,業界需要新架構用于神經網絡的理由就愈加明顯了。

khosrowshahi此前是nervana system公司的共同創始人兼首席技術官,該公司在去年8月被英特爾收購,金額未對外公布。nervana的技術迅速成為英特爾人工智能計劃的核心。

khosrowshahi詳細介紹了nervana公司是如何使用gpu的,因為“這是最先進的技術”,nervana用它自己的彙編器取代了标準的nvidia彙編器,因為這被nervana視為可以生成“次優”指令。

“我們在公司發展初期是這麼做的,部分是為了我們自己的發展,但後來我們意識到它比nvidia的庫要快2-3倍,是以我們将其作為開源釋出了。”

nervana的努力并沒有止步于軟體方面,它還創造了自己的矽晶片瞄準神經網絡訓練。

“神經網絡是一系列預定的操作,它不像是使用者與系統的互動,它是一組可以被描述為資料流圖表的指令。”

據khosrowshahi稱,一些功能有助于圖形處理單元執行圖形渲染工作——如大量緩存,處理節點,渲染——都是多餘的。

“gpu中有很多電路,這對于機器學習來說并不是必需的,随着時間推移有很多東西堆積起來。”

“你并不需要電路,這些電路在晶片中占很大比例,而且能源利用成本也很高。”

“神經網絡非常簡單,它是很少的矩陣乘法和非線性,你可以直接搭建矽晶片來實作。你可以搭建矽晶片專用于神經網絡架構,gpu卻不是這樣的。”

khosrowshahi給出的答案是正在開發的lake crest,英特爾将在今年向標明客戶推出這個獨立的加速器,随着時間的推移,它還将更緊密地與至強處理器捆綁在一起。

“這是一個張量處理器,處理矩陣操作的指令。”khosrowshahi解釋說。“是以指令集是矩陣1乘以矩陣2,通過一個查找表,而且這些大指令都是進階别的。”

“在gpu中,它是一個個的寄存器,移入另一個寄存器,做逐個元素的乘法,這是相當低級别的。”

不過khosrowshahi表示,nvidia近年來努力讓他們的gpu更适合于神經網絡,他們的人工智能晶片仍然具有大量圖形功能。

“作為一家晶片廠商,我可以看出為什麼這對nvidia來說很困難,”khosrowshahi說。

另一方面,英特爾通過收購一步步接近人工智能。

“推出一個全新的價格,這在晶片行業是一大挑戰;英特爾的方式就是收購。他們收購了fpga,是以又收購了altera,altera是一個非常酷的架構,專注于神經網絡,是以fpga架構對于神經網絡來說是非常有趣的……當然,nervana晶片很大程度上也是一個專注于引擎的神經網絡,但是稍微脫離出神經網絡一些。”

當談到神經網絡時,khosrowshahi認為考慮在矽晶片中做蝕刻神經網絡是錯誤的,因為其中很多功能仍然是在軟體方面的。

“很多功能都是在軟體的,是以即使開發了lake crest,針對lake crest的指令也不是‘神經網絡,這麼做’,而是這個矩陣乘以這個矩陣。”

“除了晶片之外,還有一些軟體知道這是神經網絡,這是訓練,使用者尋找不同的東西并搜尋參數——當你有了神經網絡系統的時候這些都是你要做的事情。”

在神經科學的大背景下,khosrowshahi認為人工智能的重點不是重建人腦,而是超越人腦。

“人腦就是人工智能的一個例子,但這是相當有限的人工智能,我的視覺系統看到了實體世界,它知道去了解世界的統計資料。”

“如果你環顧四周,你能看到很多邊緣、很多表面、陰影區等等,如果你看看大腦……主要是視覺皮層,有對這些特征敏感的神經元,是以你的人工智能了解這個世界的統計資料,并且能夠對此進行推論——就像是這個杯子快要打碎,我接住了這個杯子。”

但是企業内的資料與人類互動的資料大不相同,khosrowshahi說。

“這個統計資料是非常不直覺的,是以讓人工智能處理這些資料是另外一種智能了。”

“這試圖向人們解釋這一點,因為他們認為我們正在創造一個大腦,我們想做的超越了這一點,我們希望創造一種新的人工智能,可以了解企業、醫療等所有領域的資料統計,這些資料本質上與現實世界中的截然不同。

英特爾人工智能架構的競争對手之一是google定制的tensor processing unit,本周google稱這種架構筆目前的gpu和cpu快15-30倍,功效高30-80倍。

本周,ibm和nvidia也宣布ibm将從5月開始在ibm cloud中提供tesla的p100。

原文釋出時間為:2017年4月7日

本文作者:楊昀煦 

本文來自雲栖社群合作夥伴至頂網,了解相關資訊可以關注至頂網。

繼續閱讀