天天看點

被錯誤了解的人工神經網絡(一)!

神經網絡是機器學習算法中最流行且最強大的算法。在定量金融中,神經網絡通常用于時間序列預測、建構專有名額、算法交易、證券分類和信用風險模組化,它也被用來建構随機過程模型和價格衍生工具。盡管它很有用,但神經網絡往往因為它們的性能是“不可靠的”而聲譽不佳。在我看來,這可能是由于對神經網絡工作機制誤解所緻。本系列将讨論了一些常見的對于神經網絡的誤解。本文先介紹兩個錯誤的了解:它是人腦的模型,第二它是統計學的一種弱形式。

神經網絡不是人腦的模型

人類的大腦是我們這個時代最偉大的奧秘,科學家們尚未就其工作原理達成共識。目前有兩種大腦理論:即

祖母細胞理論

和分布式表征理論。第一個理論認為,單個神經元具有很高的處理資訊能力,并且能夠表達複雜的概念。第二種理論認為,神經元更簡單,複雜對象的表示分布在許多神經元中。人工神經網絡貌似是受到第二種理論的啟發。

我相信目前這一代神經網絡不具備感覺能力(與智能不同)的一個原因是因為生物神經元比人工神經元複雜得多。

大腦中的單個神經元是一台令人難以置信的複雜機器,即使在今天我們也不明白。而神經網絡中的單個“神經元”是一個非常簡單的數學函數,隻能捕捉生物神經元複雜性的一小部分。是以說神經網絡模仿大腦,這在思路上是真的,但真正的人造神經網絡與生物大腦沒有什麼相似之處—— Andrew Ng

大腦和神經網絡之間的另一大差別在于規模群組織。人腦比神經網絡包含更多的神經元和突觸,他們有自我組織能力和适應性。相比之下,神經網絡是根據架構來組織的。神經網絡不像大腦那樣是“自組織”的,與有序網絡相比,神經網絡更接近圖形。

被錯誤了解的人工神經網絡(一)!

由大腦成像技術發展而來的一些非常有趣的大腦視圖。 

先比之下,我們隻能說神經網絡受大腦啟發,就像北京的奧林匹克體育場受到鳥巢的啟發。這并不意味着奧林匹克體育場就是鳥巢,它隻意味着在體育場的設計中存在一些鳥巢的元素。換句話說,大腦的某些元素存在于神經網絡的設計中,但它們比我們想像的要少得多。

事實上,神經網絡與統計方法(如

曲線拟合

回歸分析)

更密切相關。在定量金融的背景下,我認為重要的是要記憶,因為雖然說“某種東西受到大腦的啟發”可能聽起來很酷,但這種說法可能會導緻不切實際的期望或恐懼。

欲了解更多資訊,請參閱這篇文章

被錯誤了解的人工神經網絡(一)!

曲線拟合也稱為函數逼近,神經網絡常常用來逼近複雜的數學函數。

神經網絡不是弱統計

神經網絡由互相連接配接的節點層組成,單個節點被稱為感覺器,類似于

多重線性回歸

。在

多層感覺器中

(MLP),感覺器被排列成層并且層與層彼此連接配接。在MLP中,有三種類型的層:即輸入層、隐藏層和輸出層。輸入層接收輸入模式,輸出層輸入映射的分類或輸出信号的清單。隐藏層調整這些輸入的權重,直到神經網絡的誤差最小化。

映射輸入:輸出

感覺器可以接收由n個屬性組成的輸入向量z=(z1,z2,...Zn)。這個輸入向量稱為輸入模式,這些輸入根據該感覺器的權向量權重:v=(v1,v2...,vn)。在多元線性回歸的背景下,這些可以被認為是回歸系數或貝塔值。感覺器的淨輸入信号net通常是輸入模式與其權重的總和乘積,其使用和積神經元網絡被稱為求和單元。

net=∑ni−1zivi

淨輸入信号減去偏差θ然後饋送到某個激活函數f()。激活函數通常是在(0,1)或(-1,1)之間有界的單調遞增函數(下文将進行進一步讨論),另外激活函數可以是線性或非線性的。

被錯誤了解的人工神經網絡(一)!

下面顯示了一些神經網絡中常用的激活函數:

被錯誤了解的人工神經網絡(一)!

最簡單的神經網絡就是隻有一個将輸入映射到輸出的神經元。給定一個模式p,這個網絡的目标是使輸出信号op的誤差相對于某些給定訓練模式tp的某個已知目标值的誤差最小化。例如,如果神經元應該将p映射到-1,但其映射到了1,那麼神經元的誤差(如平方和距離測量)将為4。

分層(Layering)

被錯誤了解的人工神經網絡(一)!

如上圖所示,感覺器被組織成層。第一層輸入感覺器,從訓練集PT中接收模式p。最後一層是映射到這些模式的預期輸出。

隐藏層是接收另一層的輸出作為輸入,并且輸出形成輸入到另一層的隐藏層。那麼,這些隐藏層是做什麼的?其中一種技術解釋是它們提取輸入資料中的顯着特征,這些特征對輸出具有預測能力。這被稱為

特征提取,

并以某種方式執行與統計技術(如

主成分分析)

類似的功能。

深度神經網絡具有大量的隐藏層,并且能夠從資料中提取更多的特征。最近,深度神經網絡對于

圖像識别問題

表現得特别好。下面顯示了圖像識别環境下的特征提取示例:

被錯誤了解的人工神經網絡(一)!

我認為使用深度神經網絡所面臨的問題之一(除了

過度拟合

之外)是神經網絡的輸入幾乎總是被大量預處理。

學習規則(Learning

Rules)

如前所述,神經網絡的目标是最小化一些誤差測量值ε。最常見的誤差名額是平方和誤差,盡管這一名額對異常值很敏感。

考慮到網絡的目标是最小化ε,我們可以使用優化算法來調整神經網絡中的權重。神經網絡最常見的學習算法是梯度下降算法,盡管可以使用其他更好的優化算法。梯度下降的工作方式是計算誤差相對于神經網絡中每個層的權重的偏導數,然後向與梯度相反的方向移動(因為我們想要最小化神經網絡的誤差)。通過最小化誤差,我們可以最大化神經網絡樣本的性能。

總結

在學術界,一些統計學家認為,神經網絡是一個“懶惰分析師的弱統計”方式。但我認為神經網絡代表了數百年統計技術的抽象,對于神經網絡背後統計資料的精彩解釋,我建議

閱讀這篇文章

。我同意一些從業者喜歡将神經網絡視為一個“黑匣子”,可以在不花時間了解問題本質以及神經網絡是否合适的情況下去研究神經網絡。在對于金融市場來說,我認為神經網絡并不能完美的展示它的能力。因為市場是動态的,而神經網絡假定輸入模式的分布随着時間的推移是保持不變。

數十款阿裡雲産品限時折扣中,趕緊點選領劵開始雲上實踐吧!

以上為譯文。

本文由

阿裡雲雲栖社群

組織翻譯。

文章原标題《

artificial-neural-networks-some-misconceptions

》, 作者: Jayesh Bapu Ahire 譯者:虎說八道

,審校:。

文章為簡譯,更為詳細的内容,請檢視 原文

繼續閱讀