本節課目标：搭建神經網絡，總結搭建八股
一、基本概念
基于TensorFlow的NN：用張量表示資料，用計算圖搭建神經網絡，用會話執行計算圖，優化線上的權重（參數），得到模型
張量：張量就是多元數組（清單），用階表示張量的次元。
0階稱為标量，表示一個單獨的數 舉例S=123
1階張量稱作向量，表示一個一維數組 舉例 V=[1,2,3]
2階張量稱作矩陣，表示一個二維數組，它可以有i行j列個元素，每個元素可以用行号和列号共同索引到:
舉例 m=[[1,2,3],[4,5,6],[7,8,9]]
判斷張量是幾階的，就通過張量右邊的方括号數，0 個是 0 階，n 個是 n 階，張量可以表示 0 階到 n 階數組（清單）；
舉例 t=[ [ [… ] ] ]為 3 階。
資料類型：Tensorflow 的資料類型有 tf.float32、tf.int32 等。
舉例
我們實作 Tensorflow 的加法：
import tensorflow as tf #引入子產品
a = tf.constant([1.0, 2.0]) #定義一個張量等于[1.0,2.0]
b = tf.constant([3.0, 4.0]) #定義一個張量等于[3.0,4.0]
result = a+b #實作 a 加 b 的加法
print result #列印出結果
可以列印出這樣一句話：Tensor(“add:0”, shape=(2, ), dtype=float32)，意思為 result 是一個名稱為 add:0 的張量，shape=(2,)表示一維數組長度為 2，
dtype=float32 表示資料類型為浮點型。
計算圖（Graph）：搭建神經網絡的計算過程，是承載一個或多個計算節點的一
張圖，隻搭建網絡，不運算。
在第一講中我們曾提到過，神經網絡的基本模型是神經元，神經元的基本模型其
實就是數學中的乘、加運算。我們搭建如下的計算圖：
x1、x2 表示輸入，w1、w2 分别是 x1 到 y 和 x2 到 y 的權重，y=x1*w1+x2*w2。
我們實作上述計算圖：
x = tf.constant([[1.0, 2.0]]) #定義一個 2 階張量等于[[1.0,2.0]]
w = tf.constant([[3.0], [4.0]]) #定義一個 2 階張量等于[[3.0],[4.0]]
y = tf.matmul(x, w) #實作 xw 矩陣乘法
print y #列印出結果
可以列印出這樣一句話：Tensor(“matmul:0”, shape(1,1), dtype=float32)，
從這裡我們可以看出，print 的結果顯示 y 是一個張量，隻搭建承載計算過程的
計算圖，并沒有運算，如果我們想得到運算結果就要用到“會話 Session()”了。
會話（Session）：執行計算圖中的節點運算。
我們用 with 結構實作，文法如下：
with tf.Session() as sess:
print sess.run(y)
舉例對于剛剛所述計算圖，我們執行 Session()會話可得到矩陣相乘結果：
print sess.run(y) #執行會話并列印出執行後的結果
可以列印出這樣的結果：
Tensor(“matmul:0”, shape(1,1), dtype=float32)
[[11.]]
我們可以看到，運作Session()會話前隻列印出y是個張量的提示，運作Session()
會話後列印出了 y 的結果 1.0*3.0 + 2.0*4.0 = 11.0。
注①：我們以後會常用到 vim 編輯器，為了使用友善，我們可以更改 vim 的配置
檔案，使 vim 的使用更加便捷。我們在 vim ~/.vimrc 寫入：
set ts=4 表示使 Tab 鍵等效為 4 個空格
set nu 表示使 vim 顯示行号 nu 是 number 縮寫
注②：在 vim 編輯器中運作 Session()會話時，有時會出現“提示 warning”，是
因為有的電腦可以支援加速指令，但是運作代碼時并沒有啟動這些指令。可以把
這些“提示 warning”暫時屏蔽掉。屏蔽方法為進入主目錄下的 bashrc 檔案，在
bashrc 檔案中加入這樣一句 export TF_CPP_MIN_LOG_LEVEL=2，進而把“提示
warning”等級降低。
這個指令可以控制 python 程式顯示提示資訊的等級，在 Tensorflow 裡面一般設
置成是"0"（顯示所有資訊）或者"1"（不顯示 info），"2"代表不顯示 warning，
"3"代表不顯示 error。一般不建議設定成 3。
source 指令用于重新執行修改的初始化檔案，使之立即生效，而不必登出并重
新登入。
神經網絡的參數：
神經網絡的參數：是指神經元線上的權重 w，用變量表示，一般會先随機生成
這些參數。生成參數的方法是讓w等于tf.Variable，把生成的方式寫在括号裡。
神經網絡中常用的生成随機數/數組的函數有：
tf.random_normal() 生成正态分布随機數
tf.truncated_normal() 生成去掉過大偏離點的正态分布随機數
tf.random_uniform() 生成均勻分布随機數
tf.zeros 表示生成全 0 數組
tf.ones 表示生成全 1 數組
tf.fill 表示生成全定值數組
tf.constant 表示生成直接給定值的數組
① w=tf.Variable(tf.random_normal([2,3],stddev=2, mean=0, seed=1))，表
示生成正态分布随機數，形狀兩行三列，标準差是 2，均值是 0，随機種子是 1。
② w=tf.Variable(tf.Truncated_normal([2,3],stddev=2, mean=0, seed=1))，
表示去掉偏離過大的正态分布，也就是如果随機出來的資料偏離平均值超過兩個
标準差，這個資料将重新生成。
③ w=random_uniform(shape=7,minval=0,maxval=1,dtype=tf.int32，seed=1),
表示從一個均勻分布[minval maxval)中随機采樣，注意定義域是左閉右開，即
包含 minval，不包含 maxval。
④ 除了生成随機數，還可以生成常量。tf.zeros([3,2],int32)表示生成
[[0,0],[0,0],[0,0]]；tf.ones([3,2],int32)表示生成[[1,1],[1,1],[1,1]；
tf.fill([3,2],6)表示生成[[6,6],[6,6],[6,6]]；tf.constant([3,2,1])表示
生成[3,2,1]。
注意：①随機種子如果去掉每次生成的随機數将不一緻。
②如果沒有特殊要求标準差、均值、随機種子是可以不寫的。
神經網絡的搭建:
神經網絡的實作過程：
1、準備資料集，提取特征，作為輸入喂給神經網絡（Neural Network，NN）
2、搭建 NN 結構，從輸入到輸出（先搭建計算圖，再用會話執行）（ NN 前向傳播算法 計算輸出)
3、大量特征資料喂給 NN，疊代優化 NN 參數（ NN 反向傳播算法 優化參數訓練模型）
4、使用訓練好的模型預測和分類
由此可見，基于神經網絡的機器學習主要分為兩個過程，即訓練過程和使用過程。
訓練過程是第一步、第二步、第三步的循環疊代，使用過程是第四步，一旦參數
優化完成就可以固定這些參數，實作特定應用了。
很多實際應用中，我們會先使用現有的成熟網絡結構，喂入新的資料，訓練相應
模型，判斷是否能對喂入的從未見過的新資料作出正确響應，再适當更改網絡結
構，反複疊代，讓機器自動訓練參數找出最優結構和參數，以固定專用模型。
前向傳播:
前向傳播就是搭模組化型的計算過程，讓模型具有推理能力，可以針對一組輸入
給出相應的輸出。
反向傳播:
反向傳播：訓練模型參數，在所有參數上用梯度下降，使 NN 模型在訓練資料
上的損失函數最小。
√損失函數（loss）：計算得到的預測值 y 與已知答案 y_的差距。
損失函數的計算有很多方法，均方誤差 MSE 是比較常用的方法之一
均方誤差 MSE：求前向傳播計算結果與已知答案之差的平方再求平均。
用 tensorflow 函數表示為：
loss_mse = tf.reduce_mean(tf.square(y_ - y))
√反向傳播訓練方法：以減小 loss 值為優化目标，有梯度下降、momentum 優化
器、adam 優化器等優化方法。
這三種優化方法用 tensorflow 的函數可以表示為：
train_step=tf.train.GradientDescentOptimizer(learning_rate).minimize(loss)
train_step=tf.train.MomentumOptimizer(learning_rate, momentum).minimize(loss)
train_step=tf.train.AdamOptimizer(learning_rate).minimize(loss)
三種優化方法差別如下：
①tf.train.GradientDescentOptimizer()使用随機梯度下降算法，使參數沿着
梯度的反方向，即總損失減小的方向移動，實作更新參數。
②tf.train.MomentumOptimizer()在更新參數時，利用了超參數。
③tf.train.AdamOptimizer()是利用自适應學習率的優化算法，Adam 算法和随
機梯度下降算法不同。随機梯度下降算法保持單一的學習率更新所有的參數，學
習率在訓練過程中并不會改變。而 Adam 算法通過計算梯度的一階矩估計和二
階矩估計而為不同的參數設計獨立的自适應性學習率
一紙高中萬裡風，寒窗讀破華堂空。
莫道長安花看盡，由來枝葉幾相同？