神經網絡的訓練的大緻流程

batch_size = n

# 每次讀取一小部分資料作為目前的訓練資料來執行反向傳播算法
x = tf.placeholder(tf.float32, shape=(batch_size, feature_num), name="x-input")
y_= tf.placeholder(tf.float32, shape=(batch_size, 1), name='y-input')

# 定義神經網絡結構和優化算法
loss = ...
# loss = -tf.reduce_mean(y_ * tf.log(tf.clip_by_value(y, 1e-10, 1.0)))    ## cross_entropy(交叉熵)
learning_rate = 0.001

#定義反向傳播算法 
train_step = tf.train.AdamOptimizer(learning_rate).minimize(loss)  # 優化算法

# 訓練神經網絡
with tf.Session() as sess:
    # 參數初始化
    init_op = tf.global_variables_initializer()
    sess.run(init_op)
    
    ...
    
    # 訓練模型。
    STEPS = ...
    # 疊代的更新參數
    for i in range(STEPS):
        # 準備batch_size個訓練資料。一般将所有訓練資料打亂之後再選取可以得到更好的優化效果。
        current_X, current_Y = ...
        # 對`tf.GraphKeys.TRAINABLE_VARIABLES`集合中的變量進行優化，使得目前batch下損失最小
        sess.run(train_step, feed_dict = {x : current_X, y : current_Y})
           

探尋有趣之事！