1.添加层def add_layer()
例子:
import tensorflow as tf
#添加一个神经层
def add_layer(inputs, in_size, out_size, activation_function = None):
Weights = tf.Variable(tf.random_normal([in_size,out_size])) #in_size代表行/输入层
biases = tf.Variable(tf.zeros([1,out_size]) + 0.1)
Wx_plus_b = tf.matmul(inputs,Weights) + biases #Wx_plus_b代表W*x+b
if activation_function is None: #如果没有激励函数,即为线性关系,那么直接输出,不需要激励函数(非线性函数)
outputs = Wx_plus_b
else:
outputs = activation_function(Wx_plus_b) #把这个值传进去
return outputs
2.建造神经网络
import tensorflow as tf
import numpy as np
#添加一个神经层,定义添加神经层的函数
def add_layer(inputs, in_size, out_size, activation_function = None):
Weights = tf.Variable(tf.random_normal([in_size,out_size])) #in_size代表行/输入层
biases = tf.Variable(tf.zeros([1,out_size]) + 0.1)
Wx_plus_b = tf.matmul(inputs,Weights) + biases #Wx_plus_b代表W*x+b
if activation_function is None: #如果没有激励函数,即为线性关系,那么直接输出,不需要激励函数(非线性函数)
outputs = Wx_plus_b
else:
outputs = activation_function(Wx_plus_b) #把这个值传进去
return outputs
x_data = np.linspace(-1, 1, 300, dtype = np.float32)[:, np.newaxis] #输入,np.float32改变数组的长度显示,linspace创建一个从-1到1的等差数列,默认为50个数,这里规定了要生成300个数,并且使用[:, np.newaxis]将数组转换为列向量,[np.newaxis,:]可转换为行向量
noise = np.random.normal(0, 0.05, x_data.shape).astype(np.float32) #生成一个均值/中心为0,标准差/宽度为0.05的正太分布作为噪点/干扰点,它的格式为x_data,使得我们想要预测的函数更加接近实际情况;astype转换数据类型格式为float32
y_data = np.square(x_data) - 0.5 + noise #x的平方减去一个任意值再加上噪点
xs = tf.placeholder(tf.float32, [None, 1]) #占位符,保存数据的利器,float32数据类型,[None,1]表示列为1,行不定的列向量;xs表示x_Session,因为placeholder是与Session一起用的,它在使用的时候和前面的variable不同的是在session运行阶段,需要给placeholder提供数据,利用feed_dict的字典结构给placeholdr变量“喂数据”;placeholder的语法:tf.placeholder(dtype, shape=[None,None] [, name=None])
ys = tf.placeholder(tf.float32, [None, 1])
l1 = add_layer(xs, 1, 10, activation_function = tf.nn.relu) #创建一个隐藏层l1,输入为xs,输入的层数/神经元的个数1=输入层,输出的层数10=隐藏层中神经元的个数
prediction = add_layer(l1, 10, 1, activation_function = None) #预测值;定义输出层,输入为l1=前一层隐藏层的输出,输入的层数为10=隐藏层神经元的个数,输出的层数为1=输出一般只有1层
loss = tf.reduce_mean(tf.reduce_sum(tf.square(ys-prediction),reduction_indices = [1])) #计算预测值prediction与真实值ys的误差:所有的平方差相加再求平均;reduction_indices = [1]表示相加的方法,[1]表示行求和,[0]表示列求和,具体解释见下文
train_step = tf.train.GradientDescentOptimizer(0.1).minimize(loss) #机器要学习的内容,使用优化器提升准确率,学习率为0.1<1,表示以0.1的效率来最小化误差loss
init = tf.global_variables_initializer() #使用变量,就要对其初始化
sess = tf.Session() #定义Session,并使用Session来初始化步骤
sess.run(init)
for i in range(1000): #训练1000次
sess.run(train_step, feed_dict={xs:x_data, ys:y_data}) #给placeholder喂数据,把x_data赋值给xs
if i % 50 == 0: #每50步输出一次机器学习的误差
print(sess.run(loss, feed_dict={xs:x_data, ys:y_data}))
运行结果:(误差不断减小)
![](https://img.laitimes.com/img/9ZDMuAjOiMmIsIjOiQnIsICM38FdsYkRGZkRG9lcvx2bjxiNx8VZ6l2cs0TPR9UMJR0TzcmaOBDOsJGcohVYsR2MMBjVtJWd0ckW65UbM5WOHJWa5kHT20ESjBjUIF2X0hXZ0xCMx81dvRWYoNHLrdEZwZ1Rh5WNXp1bwNjW1ZUba9VZwlHdssmch1mclRXY39CXldWYtlWPzNXZj9mcw1ycz9WL49zZuBnL4QjNzQjMzMTM5EjMwEjMwIzLc52YucWbp5GZzNmLn9Gbi1yZtl2Lc9CX6MHc0RHaiojIsJye.png)
3.结果可视化
进行绘制数据,使预测结果可视化,学习纠正过程动态化。
#import os
import tensorflow as tf
import numpy as np
import matplotlib.pyplot as plt
#添加一个神经层,定义添加神经层的函数
def add_layer(inputs, in_size, out_size, activation_function = None):
Weights = tf.Variable(tf.random_normal([in_size,out_size])) #in_size代表行/输入层
biases = tf.Variable(tf.zeros([1,out_size]) + 0.1)
Wx_plus_b = tf.matmul(inputs,Weights) + biases #Wx_plus_b代表W*x+b
if activation_function is None: #如果没有激励函数,即为线性关系,那么直接输出,不需要激励函数(非线性函数)
outputs = Wx_plus_b
else:
outputs = activation_function(Wx_plus_b) #把这个值传进去
return outputs
x_data = np.linspace(-1, 1, 300, dtype = np.float32)[:, np.newaxis] #输入,np.float32改变数组的长度显示,linspace创建一个从-1到1的等差数列,默认为50个数,这里规定了要生成300个数,并且使用[:, np.newaxis]将数组转换为列向量,[np.newaxis,:]可转换为行向量
noise = np.random.normal(0, 0.05, x_data.shape).astype(np.float32) #生成一个均值/中心为0,标准差/宽度为0.05的正太分布作为噪点/干扰点,它的格式为x_data,使得我们想要预测的函数更加接近实际情况;astype转换数据类型格式为float32
y_data = np.square(x_data) - 0.5 + noise #x的平方减去一个任意值再加上噪点
xs = tf.placeholder(tf.float32, [None, 1]) #占位符,保存数据的利器,float32数据类型,[None,1]表示列为1,行不定的列向量;xs表示x_Session,因为placeholder是与Session一起用的,它在使用的时候和前面的variable不同的是在session运行阶段,需要给placeholder提供数据,利用feed_dict的字典结构给placeholdr变量“喂数据”;placeholder的语法:tf.placeholder(dtype, shape=[None,None] [, name=None])
ys = tf.placeholder(tf.float32, [None, 1])
l1 = add_layer(xs, 1, 10, activation_function = tf.nn.relu) #创建一个隐藏层l1,输入为xs,输入的层数/神经元的个数1=输入层,输出的层数10=隐藏层中神经元的个数
prediction = add_layer(l1, 10, 1, activation_function = None) #预测值;定义输出层,输入为l1=前一层隐藏层的输出,输入的层数为10=隐藏层神经元的个数,输出的层数为1=输出一般只有1层
loss = tf.reduce_mean(tf.reduce_sum(tf.square(ys-prediction),reduction_indices = [1])) #计算预测值prediction与真实值ys的误差:所有的平方差相加再求平均;reduction_indices = [1]表示相加的方法,[1]表示行求和,[0]表示列求和,具体解释见下文
train_step = tf.train.GradientDescentOptimizer(0.1).minimize(loss) #机器要学习的内容,使用优化器提升准确率,学习率为0.1<1,表示以0.1的效率来最小化误差loss
init = tf.global_variables_initializer() #使用变量,就要对其初始化
sess = tf.Session() #定义Session,并使用Session来初始化步骤
sess.run(init)
#绘制真实数据
fig = plt.figure() #生成一个画框/画布
ax = fig.add_subplot(1, 1, 1) #将画框分为1行1列,并将图 画在画框的第1个位置
ax.scatter(x_data, y_data) #画散点图
plt.ion() #交互绘制功能,用于连续显示;本次运行时请注释掉这条语句,全局运行不需要注释掉
plt.show() #显示所绘制的图形,但是他只显示当前运行时的图像,不会一直显示多次;在实际运行当中,注释掉上面两条代码,程序才会正常运行,暂时不知道为什么。。。
for i in range(1000): #训练1000次
sess.run(train_step, feed_dict={xs:x_data, ys:y_data}) #给placeholder喂数据,把x_data赋值给xs
if i % 50 == 0: #每50步输出一次机器学习的误差
#print(sess.run(loss, feed_dict={xs:x_data, ys:y_data}))
#可视化结果与改进
try:
ax.lines.remove(lines[0]) #抹去前一条绘制的曲线,在这里我们要先抹去再绘制,防止第一次运行时报错,我们使用try语句
except Exception:
pass
prediction_value = sess.run(prediction, feed_dict={xs:x_data})
#绘制预测数据
lines = ax.plot(x_data, prediction_value,'r-',lw=5) #x轴数据,y轴数据,红色的线,线的宽度为5
plt.pause(0.1) #绘制曲线的时间间隔为0.1秒
结果:
4.加速神经网络训练,优化器
利用不同角度,不同路径进行训练,找到最适合训练的路径
加速方法:
1.Stochastic Gradient Descent (SGD) 随机梯度下降(初学)
把这些数据拆分成小批小批的, 然后再分批不断放入并计算,不会丢失太多的准确率。
2.Momentum(常用)
大多数其他途径是在更新神经网络参数那一步上动动手脚. 传统的参数 W 的更新是把原始的 W 累加上一个负的学习率(learning rate) 乘以校正值 (dx). 这种方法可能会让学习过程曲折无比, 看起来像喝醉的人回家时, 摇摇晃晃走了很多弯路.
所以我们把这个人从平地上放到了一个斜坡上, 只要他往下坡的方向走一点点, 由于向下的惯性, 他不自觉地就一直往下走, 走的弯路也变少了. 这就是 Momentum 参数更新.
3.AdaGrad
在学习率上面动手脚, 使得每一个参数更新都会有自己与众不同的学习率,给他一双不好走路的鞋子, 使得他一摇晃着走路就脚疼, 鞋子成为了走弯路的阻力, 逼着他往前直着走.
4.RMSProp(AlphaGo使用这款优化器来优化)
有了 momentum 的惯性原则 , 加上 adagrad 的对错误方向的阻力, 我们就能合并成这样. 让 RMSProp同时具备他们两种方法的优势. 这种方法还没把 Momentum合并完全, RMSProp 还缺少momentum 中的一部分.
5.Adam(常用)
计算m 时有 momentum 下坡的属性, 计算 v 时有 adagrad 阻力的属性, 然后再更新参数时 把 m 和 V 都考虑进去. 实验证明, 大多数时候, 使用 adam 都能又快又好的达到目标, 迅速收敛. 所以说, 在加速神经网络训练的时候, 一个下坡, 一双破鞋子, 功不可没.
5.Classification 分类学习
防止一起学习1000个浪费时间,分块学习,一百个一百个的学习(mnist.train.next_batch(100)),这样也不一定会比学习1000下差.
6.过拟合==自负
机器总想把误差减到最小。模型复杂而训练样本不足,过度训练,会导致过度拟合。
训练数据集上的代价表现是越来越好的,测试集上的代价越来越差。训练数据上的分类准确率一直在提升接近 100%,而测试准确率仅仅能够达到 82.27%。
网络几乎是在单纯记忆训练集合,而没有对数字本质进行理解能够泛化到测试数据集上。
避免过拟合的方法:
1.增加数据量
2.early stopping
3.L1、L2正则化,
3.dropout
dropout处理overfitting
在训练的时候, 我们随机忽略掉一些神经元和神经联结 , 是这个神经网络变得”不完整”. 用一个不完整的神经网络训练一次.
到第二次再随机忽略另一些, 变成另一个不完整的神经网络. 有了这些随机 drop 掉的规则, 我们可以想象其实每次训练的时候, 我们都让每一次预测结果都不会依赖于其中某部分特定的神经元. 像L1, L2正规化一样, 过度依赖的 W , 也就是训练参数的数值会很大, L1, L2会惩罚这些大的 参数. Dropout 的做法是从根本上让神经网络没机会过度依赖.
例如:
输入是x输出是y,正常的流程是:我们首先把x通过网络前向传播然后后把误差反向传播以决定 如何更新参数让网络进行学习。使用dropout之后过程变成:
1.首先随机(临时)删掉网络中一半的隐藏神经元,输入输出神经元保持(下图中虚线为部分临时被删除的神经元)
2. 然后把输入x通过修改后的网络前向传播,然后把得到的损失结果通过修改的网络反向传播。一小批训练样本执行完这个过程后就按照随机梯度下降法更新(没有被删除的神经元)对应的参数(w,b)。
3.然后继续重复这一过程:
恢复被删掉的神经元(此时 被删除的神经元 保持原样,而没有被删除的神经元已经有所更新)
从隐藏神经元中随机选择一个一半大小的子集 临时删除掉(备份被删除神经元的参数)。
对一小批训练样本,先前向传播然后反向传播损失并根据随机梯度下降法更新参数(w,b) (没有被删除的那一部分参数得到更新,删除的神经元参数保持被删除前的结果)
不断重复这一过程。
7.CNN卷积神经网络
卷积神经网络是计算机视觉的一个飞跃的提升.
CNN可以将一个铺面分成很多小块,每一小块不断压缩累加,增加厚度,把长和宽压缩,增加厚度。最后再接上分类器,进行分类预测。
CNN具体来说就是不断压缩长和宽,增高厚度,到最后就变成了一个厚度很厚的,利用这个厚度里的信息去把它变成一个分类器。如果想要分成十类的话,那么就会有0到9这十个位置,这个数据属于哪一类就在哪个位置上是1,而在其它位置上为零。