第一門課 神經網絡和深度學習(Neural Networks and Deep Learning)

文章目錄

• 第一門課 神經網絡和深度學習(Neural Networks and Deep Learning)
• • @[toc] 第一周：深度學習引言(Introduction to Deep Learning)
  • • 1.1 歡迎(Welcome)
    • 1.2 什麼是神經網絡？(What is a Neural Network)
    • 1.3 神經網絡的監督學習(Supervised Learning with Neural Networks)
    • 1.4 為什麼深度學習會興起？(Why is Deep Learning taking off?)
    • 1.5 關于這門課(About this Course)
    • 1.6 課程資源(Course Resources)
• ps

第一周：深度學習引言(Introduction to Deep Learning)

1.1 歡迎(Welcome)

第一個視訊主要講了什麼是深度學習，深度學習能做些什麼事情。以下是吳恩達老師的原話：

深度學習改變了傳統網際網路業務，例如如網絡搜尋和廣告。但是深度學習同時也使得許多新産品和企業以很多方式幫助人們，從獲得更好的健康關注。

深度學習做的非常好的一個方面就是讀取X光圖像，到生活中的個性化教育，到精準化農業，甚至到駕駛汽車以及其它一些方面。如果你想要學習深度學習的這些工具，并應用它們來做這些令人窒息的操作，本課程将幫助你做到這一點。當你完成cousera上面的這一系列專項課程，你将能更加自信的繼續深度學習之路。在接下來的十年中，我認為我們所有人都有機會創造一個驚人的世界和社會，這就是AI（人工智能）的力量。我希望你們能在建立AI（人工智能）社會的過程中發揮重要作用。

我認為AI是最新的電力，大約在一百年前，我們社會的電氣化改變了每個主要行業，從交通運輸行業到制造業、醫療保健、通訊等方面，我認為如今我們見到了AI明顯的令人驚訝的能量，帶來了同樣巨大的轉變。顯然，AI的各個分支中，發展的最為迅速的就是深度學習。是以現在，深度學習是在科技世界中廣受歡迎的一種技巧。

通過這個課程，以及這門課程後面的幾門課程，你将擷取并且掌握那些技能。

下面是你将學習到的内容：

在cousera的這一系列也叫做專項課程中,在第一門課中（神經網絡和深度學習），你将學習神經網絡的基礎，你将學習神經網絡和深度學習，這門課将持續四周，專項課程中的每門課将持續2至4周。

但是在第一門課程中，你将學習如何建立神經網絡（包含一個深度神經網絡），以及如何在資料上面訓練他們。在這門課程的結尾，你将用一個深度神經網絡進行辨認貓。

[外鍊圖檔轉存失敗,源站可能有防盜鍊機制,建議将圖檔儲存下來直接上傳(img-LtU1vLMu-1611044707755)(…/images/ac477ba60e120e318cfb2ed71ff55478.png)]

由于某種原因，第一門課會以貓作為對象識别。

接下來在第二門課中，我們将使用三周時間。你将進行深度學習方面的實踐，學習嚴密地建構神經網絡，如何真正讓它表現良好，是以你将要學習超參數調整、正則化、診斷偏差和方差以及一些進階優化算法，比如Momentum和Adam算法，猶如黑魔法一樣根據你建立網絡的方式。第二門課隻有三周學習時間。

在第三門課中，我們将使用兩周時間來學習如何結構化你的機器學習工程。事實證明，建構機器學習系統的政策改變了深度學習的錯誤。

舉個例子：你分割資料的方式，分割成訓練集、比較集或改變的驗證集，以及測試集合，改變了深度學習的錯誤。

是以最好的實踐方式是什麼呢？

你的訓練集和測試集來自不同的貢獻度在深度學習中的影響很大，那麼你應該怎麼處理呢？

如果你聽說過端對端深度學習，你也會在第三門課中了解到更多，進而了解到你是否需要使用它，第三課的資料是相對比較獨特的，我将和你分享。我們了解到的所有的熱門領域的建立并且改良許多的深度學習問題。這些當今熱門的資料，絕大部分大學在他們的深度學習課堂上面裡面不會教的，我認為它會提供你幫助，讓深度學習系統工作的更好。

在第四門課程中，我們将會提到卷積神經網絡(CNN(s))，它經常被用于圖像領域，你将會在第四門課程中學到如何搭建這樣的模型。

最後在第五門課中，你将會學習到序列模型，以及如何将它們應用于自然語言處理，以及其它問題。

序列模型包括的模型有循環神經網絡（RNN）、全稱是長短期記憶網絡（LSTM）。你将在課程五中了解其中的時期是什麼含義，并且有能力應用到自然語言處理（NLP）問題。

總之你将在課程五中學習這些模型，以及能夠将它們應用于序列資料。比如說，自然語言就是一個單詞序列。你也将能夠了解這些模型如何應用到語音識别或者是編曲以及其它問題。

是以，通過這些課程，你将學習深度學習的這些工具，你将能夠去使用它們去做一些神奇的事情，并借此來提升你的職業生涯。

吳恩達

1.2 什麼是神經網絡？(What is a Neural Network)

我們常常用深度學習這個術語來指訓練神經網絡的過程。有時它指的是特别大規模的神經網絡訓練。那麼神經網絡究竟是什麼呢？在這個視訊中，我會講解一些直覺的基礎知識。

讓我們從一個房價預測的例子開始講起。

假設你有一個資料集，它包含了六棟房子的資訊。是以，你知道房屋的面積是多少平方英尺或者平方米，并且知道房屋價格。這時，你想要拟合一個根據房屋面積預測房價的函數。

如果你對線性回歸很熟悉，你可能會說：“好吧，讓我們用這些資料拟合一條直線。”于是你可能會得到這樣一條直線。

[外鍊圖檔轉存失敗,源站可能有防盜鍊機制,建議将圖檔儲存下來直接上傳(img-HCfEUnyM-1611044707760)(…/images/3fe6da26014467243e3d499569be3675.png)]

但有點奇怪的是，你可能也發現了，我們知道價格永遠不會是負數的。是以，為了替代一條可能會讓價格為負的直線，我們把直線彎曲一點，讓它最終在零結束。這條粗的藍線最終就是你的函數，用于根據房屋面積預測價格。有部分是零，而直線的部分拟合的很好。你也許認為這個函數隻拟合房屋價格。

作為一個神經網絡，這幾乎可能是最簡單的神經網絡。我們把房屋的面積作為神經網絡的輸入（我們稱之為 x x x），通過一個節點（一個小圓圈），最終輸出了價格（我們用 y y y表示）。其實這個小圓圈就是一個單獨的神經元。接着你的網絡實作了左邊這個函數的功能。

在有關神經網絡的文獻中，你經常看得到這個函數。從趨近于零開始，然後變成一條直線。這個函數被稱作ReLU激活函數，它的全稱是Rectified Linear Unit。rectify（修正）可以了解成 m a x ( 0 , x ) max(0,x) max(0,x)，這也是你得到一個這種形狀的函數的原因。

[外鍊圖檔轉存失敗,源站可能有防盜鍊機制,建議将圖檔儲存下來直接上傳(img-f1FvU0tU-1611044707762)(…/images/9433d636eeeaa3469910ae75298820cc.png)]

你現在不用擔心不了解ReLU函數，你将會在這門課的後面再次看到它。

如果這是一個單神經元網絡，不管規模大小，它正是通過把這些單個神經元疊加在一起來形成。如果你把這些神經元想象成單獨的樂高積木，你就通過搭積木來完成一個更大的神經網絡。

讓我們來看一個例子，我們不僅僅用房屋的面積來預測它的價格，現在你有了一些有關房屋的其它特征，比如卧室的數量，或許有一個很重要的因素，一家人的數量也會影響房屋價格，這個房屋能住下一家人或者是四五個人的家庭嗎？而這确實是基于房屋大小，以及真正決定一棟房子是否能适合你們家庭人數的卧室數。

換個話題，你可能知道郵政編碼或許能作為一個特征，告訴你步行化程度。比如這附近是不是高度步行化，你是否能步行去雜貨店或者是學校，以及你是否需要駕駛汽車。有些人喜歡居住在以步行為主的區域，另外根據郵政編碼還和富裕程度相關（在美國是這樣的）。但在其它國家也可能展現出附近學校的水準有多好。

[外鍊圖檔轉存失敗,源站可能有防盜鍊機制,建議将圖檔儲存下來直接上傳(img-9RUORSOC-1611044707765)(…/images/d900d26b850d55abce36d4c8daf71327.png)]

在圖上每一個畫的小圓圈都可以是ReLU的一部分，也就是指修正線性單元，或者其它稍微非線性的函數。基于房屋面積和卧室數量，可以估算家庭人口，基于郵編，可以估測步行化程度或者學校的品質。最後你可能會這樣想，這些決定人們樂意花費多少錢。

對于一個房子來說，這些都是與它息息相關的事情。在這個情景裡，家庭人口、步行化程度以及學校的品質都能幫助你預測房屋的價格。以此為例， x x x 是所有的這四個輸入， y y y 是你嘗試預測的價格，把這些單個的神經元疊加在一起，我們就有了一個稍微大一點的神經網絡。這顯示了神經網絡的神奇之處，雖然我已經描述了一個神經網絡，它可以需要你得到房屋面積、步行化程度和學校的品質，或者其它影響價格的因素。

[外鍊圖檔轉存失敗,源站可能有防盜鍊機制,建議将圖檔儲存下來直接上傳(img-bqRW0s7N-1611044707767)(…/images/7a0e0d40f4ba80a0466f0bd7aa9f8537.png)]

神經網絡的一部分神奇之處在于，當你實作它之後，你要做的隻是輸入 x x x，就能得到輸出 y y y。因為它可以自己計算你訓練集中樣本的數目以及所有的中間過程。是以，你實際上要做的就是：這裡有四個輸入的神經網絡，這輸入的特征可能是房屋的大小、卧室的數量、郵政編碼和區域的富裕程度。給出這些輸入的特征之後，神經網絡的工作就是預測對應的價格。同時也注意到這些被叫做隐藏單元圓圈，在一個神經網絡中，它們每個都從輸入的四個特征獲得自身輸入，比如說，第一個結點代表家庭人口，而家庭人口僅僅取決于 x 1 x_1 x1​和 x 2 x_2 x2​特征，換句話說，在神經網絡中，你決定在這個結點中想要得到什麼，然後用所有的四個輸入來計算想要得到的。是以，我們說輸入層和中間層被緊密的連接配接起來了。

值得注意的是神經網絡給予了足夠多的關于 x x x和 y y y的資料，給予了足夠的訓練樣本有關 x x x和 y y y。神經網絡非常擅長計算從 x x x到 y y y的精準映射函數。

這就是一個基礎的神經網絡。你可能發現你自己的神經網絡在監督學習的環境下是如此的有效和強大，也就是說你隻要嘗試輸入一個 x x x，即可把它映射成 y y y，就好像我們在剛才房價預測的例子中看到的效果。

在下一個視訊中，讓我們複習一下更多監督學習的例子，有些例子會讓你覺得你的網絡會十分有用，并且你實際應用起來也是如此。

1.3 神經網絡的監督學習(Supervised Learning with Neural Networks)

關于神經網絡也有很多的種類，考慮到它們的使用效果，有些使用起來恰到好處，但事實表明，到目前幾乎所有由神經網絡創造的經濟價值，本質上都離不開一種叫做監督學習的機器學習類别，讓我們舉例看看。

在監督學習中你有一些輸入 x x x，你想學習到一個函數來映射到一些輸出 y y y，比如我們之前提到的房價預測的例子，你隻要輸入有關房屋的一些特征，試着去輸出或者估計價格 y y y。我們舉一些其它的例子，來說明神經網絡已經被高效應用到其它地方。

[外鍊圖檔轉存失敗,源站可能有防盜鍊機制,建議将圖檔儲存下來直接上傳(img-uhu3f3bd-1611044707770)(…/images/ec9f15da25c4072eeedc9ba7fa363f80.png)]

如今應用深度學習獲利最多的一個領域，就是線上廣告。這也許不是最鼓舞人心的，但真的很賺錢。具體就是通過在網站上輸入一個廣告的相關資訊，因為也輸入了使用者的資訊，于是網站就會考慮是否向你展示廣告。

神經網絡已經非常擅長預測你是否會點開這個廣告，通過向使用者展示最有可能點開的廣告，這就是神經網絡在很多家公司難以置信地提高獲利的一種應用。因為有了這種向你展示你最有可能點選的廣告的能力，而這一點選的行為的改變會直接影響到一些大型的線上廣告公司的收入。

計算機視覺在過去的幾年裡也取得了長足的進步，這也多虧了深度學習。你可以輸入一個圖像，然後想輸出一個索引，範圍從1到1000來試着告訴你這張照片，它可能是，比方說，1000個不同的圖像中的任何一個，是以你可能會選擇用它來給照片打标簽。

深度學習最近在語音識别方面的進步也是非常令人興奮的，你現在可以将音頻片段輸入神經網絡，然後讓它輸出文本記錄。得益于深度學習，機器翻譯也有很大的發展。你可以利用神經網絡輸入英語句子，接着輸出一個中文句子。

在自動駕駛技術中，你可以輸入一幅圖像，就好像一個資訊雷達展示汽車前方有什麼，據此，你可以訓練一個神經網絡，來告訴汽車在馬路上面具體的位置，這就是神經網絡在自動駕駛系統中的一個關鍵成分。

那麼深度學習系統已經可以創造如此多的價值，通過智能的選擇，哪些作為 x x x哪些作為 y y y，來針對于你目前的問題，然後拟合監督學習部分，往往是一個更大的系統，比如自動駕駛。這表明神經網絡類型的輕微不同，也可以産生不同的應用，比如說，應用到我們在上一個視訊提到的房地産領域，我們不就使用了一個普遍标準神經網絡架構嗎？

也許對于房地産和線上廣告來說可能是相對的标準一些的神經網絡，正如我們之前見到的。對于圖像應用，我們經常在神經網絡上使用卷積（Convolutional Neural Network），通常縮寫為CNN。對于序列資料，例如音頻，有一個時間元件，随着時間的推移，音頻被播放出來，是以音頻是最自然的表現。作為一維時間序列（兩種英文說法one-dimensional time series / temporal sequence）.對于序列資料，經常使用RNN，一種遞歸神經網絡（Recurrent Neural Network），語言，英語和漢語字母表或單詞都是逐個出現的，是以語言也是最自然的序列資料，是以更複雜的RNNs版本經常用于這些應用。

對于更複雜的應用比如自動駕駛，你有一張圖檔，可能會顯示更多的CNN卷積神經網絡結構，其中的雷達資訊是完全不同的，你可能會有一個更定制的，或者一些更複雜的混合的神經網絡結構。是以為了更具體地說明什麼是标準的CNN和RNN結構，在文獻中你可能見過這樣的圖檔，這是一個标準的神經網絡。

[外鍊圖檔轉存失敗,源站可能有防盜鍊機制,建議将圖檔儲存下來直接上傳(img-ALICbsIR-1611044707771)(…/images/6cda3361ce142b4347593db842d95ef0.png)]

你也可能見過這樣的圖檔，這是一個卷積神經網絡的例子。

[外鍊圖檔轉存失敗,源站可能有防盜鍊機制,建議将圖檔儲存下來直接上傳(img-1hZzKB0F-1611044707772)(…/images/1bebe0ac41715ef8132f2d802968495c.png)]

我們會在後面的課程了解這幅圖的原理和實作，卷積網絡(CNN)通常用于圖像資料。

你可能也會看到這樣的圖檔，而且你将在以後的課程中學習如何實作它。

[外鍊圖檔轉存失敗,源站可能有防盜鍊機制,建議将圖檔儲存下來直接上傳(img-Lz4CpTjS-1611044707773)(…/images/4656617e30e7ad44490fe605b2e49e56.png)]

遞歸神經網絡(RNN)非常适合這種一維序列，資料可能是一個時間組成部分。

你可能也聽說過機器學習對于結構化資料和非結構化資料的應用，結構化資料意味着資料的基本資料庫。例如在房價預測中，你可能有一個資料庫，有專門的幾列資料告訴你卧室的大小和數量，這就是結構化資料。或預測使用者是否會點選廣告，你可能會得到關于使用者的資訊，比如年齡以及關于廣告的一些資訊，然後對你的預測分類标注，這就是結構化資料，意思是每個特征，比如說房屋大小卧室數量，或者是一個使用者的年齡，都有一個很好的定義。

相反非結構化資料是指比如音頻，原始音頻或者你想要識别的圖像或文本中的内容。這裡的特征可能是圖像中的像素值或文本中的單個單詞。

[外鍊圖檔轉存失敗,源站可能有防盜鍊機制,建議将圖檔儲存下來直接上傳(img-tli8IcYD-1611044707775)(…/images/86a39d40cb13842cd6c06463cd9b4a83.png)]

從曆史經驗上看，處理非結構化資料是很難的，與結構化資料比較，讓計算機了解非結構化資料很難，而人類進化得非常善于了解音頻信号和圖像，文本是一個更近代的發明，但是人們真的很擅長解讀非結構化資料。

神經網絡的興起就是這樣最令人興奮的事情之一，多虧了深度學習和神經網絡，計算機現在能更好地解釋非結構化資料，這是與幾年前相比的結果，這為我們創造了機會。許多新的令人興奮的應用被使用，語音識别、圖像識别、自然語言文字處理，甚至可能比兩三年前的還要多。因為人們天生就有本領去了解非結構化資料，你可能聽說了神經網絡更多在媒體非結構化資料的成功，當神經網絡識别了一隻貓時那真的很酷，我們都知道那意味着什麼。

但結果也表明，神經網絡在許多短期經濟價值的創造，也是基于結構化資料的。比如更好的廣告系統、更好的利潤建議，還有更好的處理大資料的能力。許多公司不得不根據神經網絡做出準确的預測。

是以在這門課中，我們将要讨論的許多技術都将适用，不論是對結構化資料還是非結構化資料。為了解釋算法，我們将在使用非結構化資料的示例中多畫一點圖檔，但正如你所想的，你自己團隊裡通過運用神經網絡，我希望你能發現，神經網絡算法對于結構化和非結構化資料都有用處。

神經網絡已經改變了監督學習，正創造着巨大的經濟價值，事實證明，基本的神經網絡背後的技術理念大部分都離我們不遙遠，有的是幾十年，那麼為什麼他們現在才剛剛起步，效果那麼好，下一集視訊中我們将讨論為什麼最近的神經網絡已經成為你可以使用的強大工具。

1.4 為什麼深度學習會興起？(Why is Deep Learning taking off?)

本節視訊主要講了推動深度學習變得如此熱門的主要因素。包括資料規模、計算量及算法的創新。

深度學習和神經網絡之前的基礎技術理念已經存在大概幾十年了，為什麼它們現在才突然流行起來呢？本節課程主要講述一些使得深度學習變得如此熱門的主要驅動因素，這将會幫助你在你的組織機構内發現最好的時機來應用這些東西。

在過去的幾年裡，很多人都問我為什麼深度學習能夠如此有效。當我回答這個問題時，我通常給他們畫個圖，在水準軸上畫一個形狀，在此繪制出所有任務的資料量，而在垂直軸上，畫出機器學習算法的性能。比如說準确率展現在垃圾郵件過濾或者廣告點選預測，或者是神經網絡在自動駕駛汽車時判斷位置的準确性，根據圖像可以發現，如果你把一個傳統機器學習算法的性能畫出來，作為資料量的一個函數，你可能得到一個彎曲的線，就像圖中這樣，它的性能一開始在增加更多資料時會上升，但是一段變化後它的性能就會像一個高原一樣。假設你的水準軸拉的很長很長，它們不知道如何處理規模巨大的資料，而過去十年的社會裡，我們遇到的很多問題隻有相對較少的資料量。

[外鍊圖檔轉存失敗,源站可能有防盜鍊機制,建議将圖檔儲存下來直接上傳(img-E0uOD5ir-1611044707776)(…/images/7a9a642c6c709d19eb0dd2b241f1ebaf.png)]

多虧數字化社會的來臨，現在的資料量都非常巨大，我們花了很多時間活動在這些數字的領域，比如在電腦網站上、在手機軟體上以及其它數字化的服務，它們都能建立資料，同時便宜的相機被配置到行動電話，還有加速儀及各類各樣的傳感器，同時在物聯網領域我們也收集到了越來越多的資料。僅僅在過去的20年裡對于很多應用，我們便收集到了大量的資料，遠超過機器學習算法能夠高效發揮它們優勢的規模。

神經網絡展現出的是，如果你訓練一個小型的神經網絡，那麼這個性能可能會像下圖黃色曲線表示那樣；如果你訓練一個稍微大一點的神經網絡，比如說一個中等規模的神經網絡（下圖藍色曲線），它在某些資料上面的性能也會更好一些；如果你訓練一個非常大的神經網絡，它就會變成下圖綠色曲線那樣，并且保持變得越來越好。是以可以注意到兩點：如果你想要獲得較高的性能展現，那麼你有兩個條件要完成，第一個是你需要訓練一個規模足夠大的神經網絡，以發揮資料規模量巨大的優點，另外你需要能畫到 x x x軸的這個位置，是以你需要很多的資料。是以我們經常說規模一直在推動深度學習的進步，這裡的規模指的也同時是神經網絡的規模，我們需要一個帶有許多隐藏單元的神經網絡，也有許多的參數及關聯性，就如同需要大規模的資料一樣。事實上如今最可靠的方法來在神經網絡上獲得更好的性能，往往就是要麼訓練一個更大的神經網絡，要麼投入更多的資料，這隻能在一定程度上起作用，因為最終你耗盡了資料，或者最終你的網絡是如此大規模導緻将要用太久的時間去訓練，但是僅僅提升規模的的确确地讓我們在深度學習的世界中摸索了很多時間。為了使這個圖更加從技術上講更精确一點，我在 x x x軸下面已經寫明的資料量，這兒加上一個标簽（label）量，通過添加這個标簽量，也就是指在訓練樣本時，我們同時輸入 x x x和标簽 y y y，接下來引入一點符号，使用小寫的字母 m m m表示訓練集的規模，或者說訓練樣本的數量，這個小寫字母 m m m就橫軸結合其他一些細節到這個圖像中。

[外鍊圖檔轉存失敗,源站可能有防盜鍊機制,建議将圖檔儲存下來直接上傳(img-yfWn3Ags-1611044707777)(…/images/2b14edfcb21235115fca05879f8d9de2.png)]

在這個小的訓練集中，各種算法的優先級事實上定義的也不是很明确，是以如果你沒有大量的訓練集，那效果會取決于你的特征工程能力，那将決定最終的性能。假設有些人訓練出了一個SVM（支援向量機）表現的更接近正确特征，然而有些人訓練的規模大一些，可能在這個小的訓練集中SVM算法可以做的更好。是以你知道在這個圖形區域的左邊，各種算法之間的優先級并不是定義的很明确，最終的性能更多的是取決于你在用工程選擇特征方面的能力以及算法處理方面的一些細節，隻是在某些大資料規模非常龐大的訓練集，也就是在右邊這個 m m m會非常的大時，我們能更加持續地看到更大的由神經網絡控制的其它方法，是以如果你的任何某個朋友問你為什麼神經網絡這麼流行，我會鼓勵你也替他們畫這樣一個圖形。

是以可以這麼說，在深度學習萌芽的初期，資料的規模以及計算量，局限在我們對于訓練一個特别大的神經網絡的能力，無論是在CPU還是GPU上面，那都使得我們取得了巨大的進步。但是漸漸地，尤其是在最近這幾年，我們也見證了算法方面的極大創新。許多算法方面的創新，一直是在嘗試着使得神經網絡運作的更快。

作為一個具體的例子，神經網絡方面的一個巨大突破是從sigmoid函數轉換到一個ReLU函數，這個函數我們在之前的課程裡提到過。

[外鍊圖檔轉存失敗,源站可能有防盜鍊機制,建議将圖檔儲存下來直接上傳(img-5JZL4YG9-1611044707778)(…/images/1a3d288dc243ca9c5a70a69799180c4a.png)]

如果你無法了解剛才我說的某個細節，也不需要擔心，可以知道的一個使用sigmoid函數和機器學習問題是，在這個區域，也就是這個sigmoid函數的梯度會接近零，是以學習的速度會變得非常緩慢，因為當你實作梯度下降以及梯度接近零的時候，參數會更新的很慢，是以學習的速率也會變的很慢，而通過改變這個被叫做激活函數的東西，神經網絡換用這一個函數，叫做ReLU的函數（修正線性單元），ReLU它的梯度對于所有輸入的負值都是零，是以梯度更加不會趨向逐漸減少到零。而這裡的梯度，這條線的斜率在這左邊是零，僅僅通過将Sigmod函數轉換成ReLU函數，便能夠使得一個叫做梯度下降（gradient descent）的算法運作的更快，這就是一個或許相對比較簡單的算法創新的例子。但是根本上算法創新所帶來的影響，實際上是對計算帶來的優化，是以有很多像這樣的例子，我們通過改變算法，使得代碼運作的更快，這也使得我們能夠訓練規模更大的神經網絡，或者是多端口的網絡。即使我們從所有的資料中擁有了大規模的神經網絡，快速計算顯得更加重要的另一個原因是，訓練你的神經網絡的過程，很多時候是憑借直覺的，往往你對神經網絡架構有了一個想法，于是你嘗試寫代碼實作你的想法，然後讓你運作一個試驗環境來告訴你，你的神經網絡效果有多好，通過參考這個結果再傳回去修改你的神經網絡裡面的一些細節，然後你不斷的重複上面的操作，當你的神經網絡需要很長時間去訓練，需要很長時間重複這一循環，在這裡就有很大的差別，根據你的生産效率去建構更高效的神經網絡。當你能夠有一個想法，試一試，看效果如何。在10分鐘内，或者也許要花上一整天，如果你訓練你的神經網絡用了一個月的時間，有時候發生這樣的事情，也是值得的，因為你很快得到了一個結果。在10分鐘内或者一天内，你應該嘗試更多的想法，那極有可能使得你的神經網絡在你的應用方面工作的更好、更快的計算，在提高速度方面真的有幫助，那樣你就能更快地得到你的實驗結果。這也同時幫助了神經網絡的實驗人員和有關項目的研究人員在深度學習的工作中疊代的更快，也能夠更快的改進你的想法，所有這些都使得整個深度學習的研究社群變的如此繁榮，包括令人難以置信地發明新的算法和取得不間斷的進步，這些都是開拓者在做的事情，這些力量使得深度學習不斷壯大。

[外鍊圖檔轉存失敗,源站可能有防盜鍊機制,建議将圖檔儲存下來直接上傳(img-XD8wWetj-1611044707780)(…/images/e26d18a882cfc48837118572dca51c56.png)]

好消息是這些力量目前也正常不斷的奏效，使得深度學習越來越好。研究表明我們的社會仍然正在抛出越來越多的數字化資料，或者用一些特殊的硬體來進行計算，比如說GPU，以及更快的網絡連接配接各種硬體。我非常有信心，我們可以做一個超級大規模的神經網絡，而計算的能力也會進一步的得到改善，還有算法相對的學習研究社群連續不斷的在算法前沿産生非凡的創新。根據這些我們可以樂觀地回答，同時對深度學習保持樂觀态度，在接下來的這些年它都會變的越來越好。

1.5 關于這門課(About this Course)

你的學習進度已經快接近這個專項課程的第一門課的第一周結尾了，首先，快速地介紹一下下周的學習内容：

[外鍊圖檔轉存失敗,源站可能有防盜鍊機制,建議将圖檔儲存下來直接上傳(img-c4rddHEW-1611044707781)(…/images/4bb4483c80727af15108a2c4a200f378.png)]

在第一個視訊已經提到，這個專項有五門課程，目前正處于第一門課：神經網絡與深度學習。在這門課中将教會你最重要的基礎知識。當學習到第一門課末尾，你将學到如何建立一個深度神經網絡并且使之奏效。

下面是關于第一門課的一些細節，這門課有四周的學習資料：

第一周：關于深度學習的介紹。在每一周的結尾也會有十個多選題用來檢驗自己對材料的了解；

第二周：關于神經網絡的程式設計知識，了解神經網絡的結構，逐漸完善算法并思考如何使得神經網絡高效地實作。從第二周開始做一些程式設計訓練（付費項目），自己實作算法；

第三周：在學習了神經網絡程式設計的架構之後，你将可以編寫一個隐藏層神經網絡，是以需要學習所有必須的關鍵概念來實作神經網絡的工作；

第四周：建立一個深層的神經網絡。

這段視訊即将結束，希望在這段視訊之後，你們可以看看課程網站的十道選擇題來檢查自己的了解，不必複習前面的知識，有的知識是你現在不知道的，可以不斷嘗試，直到全部做對以了解全部概念。

1.6 課程資源(Course Resources)

我希望你們喜歡這門課程，為了幫助你們完成課程，本次課程将列舉一些課程資源。

首先，如果你有任何疑問，或是想和其他同學讨論問題，或是想和包括我在内的教學人員讨論任何問題，或是想要歸檔一個錯誤，論壇是最好的去處，我和其他教學人員将定期關注論壇的内容。論壇也是一個你從同學那裡得到問題答案的好地方，如果想要回答同學的問題，可以從課程首頁來到論壇：

[外鍊圖檔轉存失敗,源站可能有防盜鍊機制,建議将圖檔儲存下來直接上傳(img-ou53gNlD-1611044707782)(…/images/ef98dcd467a603cf9050b887a8dbf91b.png)]

點選論壇标簽可以進入論壇

在論壇上是提問的最佳途徑，但是出于一些原因，可能要直接聯系我們，可以将郵件發送到這個位址，我們會盡力閱讀每一份郵件并嘗試解決普遍出現的問。由于郵件數量龐大，不一定能迅速回複每一封郵件。另外，一些公司會嘗試給員工做深度學習教育訓練，如果你們想對員工負責，聘請專家教育訓練上百甚至更多員工深度學習，請用企業郵箱與我們聯系。我們處在大學學術開發的初始階段，如果你是大學上司或者是管理人員，并且希望在你們學校開設一門深度學習課程，請通過大學郵箱聯系我們。郵箱位址如下，祝你們好運！

Contact us: [email protected]

Companies: [email protected]

Universities: [email protected]

ps

資料搬運自GitHub