《神经网络与深度学习》（1）

定义和作用

人工神经网络

1. 不同节点之间的连接被赋予了不同的权重，每个权重代表了一个节点对另一个节点的影响大小。
2. 每个节点代表一种特定函数，来自其他节点的信息经过其相应的权重综合计算，输入到一个激励函数中并得到一个新的活性值（兴奋或抑制）。
3. 反向传播算法才有效地解决了多层神经网络的学习问题，并成为最为流行的神经网络学习算法。

传统机器学习

1. 数据预处理、数据预处理、特征转换、函数预测。
2. 传统的机器学习模型主要关注于最后一步，即构建预测函数。

3. 存在问题：由于特征处理一般都需要人工干预完成，利用人类的经验来选取好的特征，并最终提高机器学习系统的性能。因此，很多的模式识别问题变成了特征工程（Feature Engineering）问题。

   表示学习：如果有一种算法可以自动地学习出有效的特征，并提高最终机器学习模型的性能，那么这种学习就是可以叫做表示学习。

4. 局部表示：one-hot向量的维数很高，且不能扩展，相似度无法表示。
5. 分布式表示：分布式表示通常可以表示为低维的稠密向量。分布式表示的向量维度一般都比较低，相似度可以表示。

   

6. 嵌入通常指将一个度量空间中的一些对象映射到另一个低维的度量空间中，并尽可能保持不同对象之间的拓扑关系。比如自然语言中词的分布式表示，也经常叫做词嵌入。如图所示，将三维one-hot向量空间映射到二维空间上，可以计算点之间的相似度。

   

7. 表示学习的关键是构建具有一 定深度的多层次特征表示。要学习到一种好的高层语义表示（一般为分布式表示），通常需要从底层特征开始，经过多步非线性转换才能得到。

深度学习

1. “深度”是指原始数据进行非线性特征转换的次数。
2. 深度学习是机器学习的一个子问题，其主要目的是从数据中自动学习到有效的特征表示。
3. 通过多层的特征转换，把原始数据变成为更高层次、更抽象的表示。
4. 误差反向传播算法来进行参数学习。