天天看點

神經元新計算模型或産生更強大AI

作者:多姿生活控

導語

近年來人工智能(AI)技術正在呈現出愈發蓬勃的發展勢頭,同時也在許多領域中發揮重要作用,然而這些支援AI工具的神經元網絡大多基于20世紀60年代的神經元計算模型,正是通過大量簡化的計算模型,為今天的人工智能系統開發鋪平了道路。

但美國西蒙斯基金會熨鬥研究所計算神經科學中心(CCN)開發的新模型表明,這些近似模型并未完全捕捉到真實神經元的計算能力。

美國西蒙斯基金會熨鬥研究所的研究人員表示,盡管他們提出的這些新模型的确更為複雜,但他們的新發現也為我們認識更多關于神經元是如何完成計算和處理資訊的認知功能提供了新途徑,這項研究結果也發表在《美國國家科學院院刊》上。

神經元新計算模型或産生更強大AI

老的模型很有可能會成為人工智能的障礙,那麼新的神經元計算模型又在哪方面對于老模型進行了改進,可能會讓AI系統變得更加強大呢?

老的模型。

老的模型的數學方程形式中隻有一個自由參數,這也意味着無論是神經元的構造形式還是工作原理都隻被大量削弱了,然而這也确實是當時的一個必要抉擇,它是研究人員為了得到可以進行更進一步模拟,以幫助科學家們對當時的大腦進化與發展的認知而作出的抉擇。

同時這也在當今成為了一個負擔,這類活體神經元可以實作非常複雜的計算,而計算過程中大量的細節不是可以用簡化為機關子產品相加的這種方式來進行計算,而是每個下一層神經元上的電信号作為輸入參與到神經元的計算中,也就是說神經元之間的電子信号之間的關系是錯綜複雜的,但是老的模型中這種複雜的關系都被簡化成了線性關系,這使得新的模型更加接近活體神經元的計算方式。

老的模型的數學公式為: S = g(w^Tx-b),這個數學公式表示如果輸入信号x與權值w的線性組合減去門檻值b大于0,那麼神經元的輸出S就是激活的,否則就是不激活的。

一個叫做Gabor的研究人員認為這裡面的w并不是一個參數,因為w是用來對輸入單元的激活水準進行權重的。

神經元新計算模型或産生更強大AI

在後來老模型的進一步研究中發現,w和x的點積是輸入單元的激活程度,而b是用來調節目前神經元的激活水準的一個參數,那麼w與x的點積再減去b的結果與模型中的輸出S是一樣的。

是以這裡面并沒有一個叫做w的參數,而是x和b的點積減去b的值與輸入激活程度x和門檻值b的關系直覺上有一些偏向,雖然老模型中的參數w是有着一定的實體意義的,但是它并不能像x和b那樣直接對應輸入信号的激活程度和門檻值,是以在新的模型中,研究人員認為兩個參數應該拆開來,一個參數是用來代表輸入信号的激活程度x,另外一個參數用來代表門檻值b,這樣更符合老模型的原意。

而新的模型的數學公式為: S=g(x-b),可以發現在新模型中x和b是真正意義上可以了解的,x表示輸入神經元的激活程度,b則表示目前神經元的門檻值,是以新模型比老模型可以更精确的表示輸入信号和門檻值之間的關系。

新模型為何更好

老模型中研究人員認為w并不是一個參數,這在直覺上看是沒有錯的,但現實中w和x的點積也不是一個真正的參數,而是x的一個重要名額,w隻能作為這個名額的一個系數來進行計算,而不是一個真正擁有意義的參數,是以實際上w這個系數并不能真正的展現神經元的激活程度。

是以研究人員認為w不是一個參數是錯誤的,實際上w是一個參數,但是它沒有展現出來,而新的模型中,研究人員将x和w拆開,分别表示輸入神經元的激活程度和它們之間的系數,這樣就更加符合老模型的實際意義。

神經元新計算模型或産生更強大AI

同時雖然老模型中的參數w不是一個真正意義上的參數,但是他們之間的點積可以用來作為輸入激活程度的一個名額,但是在新的模型中,這個名額和x是重複的,是以兩個參數可以合并成一個參數。

這樣會讓模型看起來更簡潔,但是為了使模型新老模型是更加一一對應,沒有改動的參數的情況下,兩者之間是轉化關系,這兩個參數是不能合并的。

另一個新老模型之間不能合并的參數是門檻值b,但是實際上這個參數在老模型中也是一個系數,并不能展現出數學公式中b的準确意義,是以新老模型之間是完全對應的,互相轉化的。

可以說實際上老的模型更加貼合實際,但是在數學上卻不是這樣,是以新老模型中表現出來的神經元計算功能實際上是一樣的,隻不過在數學公式上有一些變化,但是實際上新的模型更加複雜,更能夠完全表達出這種計算功能型,是以新模型将會被更多的應用到AI系統中。

結語

新老模型表達出來的神經元計算功能是一樣的,隻不過新的模型比較新,從新的模型中能夠更加深刻的了解神經元之間的互相作用,更能夠發現其中的奧秘,進而制作出更加強大的AI系統。

同時從新老模型中獲得的啟示可以幫助我們更好的認識大腦的工作模式,更能夠發現大腦深處隐藏的功能,進而為實作更強大的AI系統指明方向。

繼續閱讀