模式识别、机器学习与深度学习

        模式识别（Pattern recognition）、机器学习（machine learning）和深度学习（deep learning）代表三种不同的思想流派。模式识别是最古老的（作为一个术语而言，可以说是很过时的）。机器学习是最基础的（当下初创公司和研究实验室的热点领域之一）。而深度学习是崭新和有影响力的前沿领域，我们甚至不会去思考后深度学习时代。

1. 模式识别：智能程序的诞生

       模式识别（Pattern Recognition）：自己建立模型刻画已有的特征，样本是用于估计模型中的参数。模式识别的落脚点是感知

       模式指用来说明事物结构的主观理性形式。它是从生产经验和生活经验中经过抽象和升华提炼出来的核心知识体系。但是需要注意的是，模式并不是事物本身，而是一种存在形式。

       模式识别是70年代和80年代非常流行的一个术语。它强调的是如何让一个计算机程序去做一些看起来很“智能”的事情，例如识别“3”这个数字。而且在融入了很多的智慧和直觉后，人们也的确构建了这样的一个程序。例如，区分“3”和“B”或者“3”和“8”。早在以前，大家也不会去关心你是怎么实现的，只要这个机器不是由人躲在盒子里面伪装的就好。不过，如果你的算法对图像应用了一些像滤波器、边缘检测和形态学处理等等高大上的技术后，模式识别社区肯定就会对它感兴趣。光学字符识别就是从这个社区诞生的。因此，把模式识别称为70年代，80年代和90年代初的“智能”信号处理是合适的。决策树、启发式和二次判别分析等全部诞生于这个时代。而且，在这个时代，模式识别也成为了计算机科学领域的小伙伴搞的东西，而不是电子工程。从这个时代诞生的模式识别领域最著名的书之一是由Duda & Hart执笔的“模式识别（Pattern Classification）”。对基础的研究者来说，仍然是一本不错的入门教材。不过对于里面的一些词汇就不要太纠结了，因为这本书已经有一定的年代了，词汇会有点过时。

        在模式识别中，机器似乎并不如人们所预料的那样“智能”。这种经由人为提取特征后交给机器，然后让机器去判断其它事的属性的工作流程就像是按图索骥，按照这种方法，虽然有可能找到一匹真正的汗血宝马，但是也有可能找回一只满身恶臭的瘌蛤蟆。因为对机器来说，哪怕是分辨最简单的“0”与“O”与“o”以及“。”都要费九牛二虎之力。而这也就是为什么我们在使用一些图片转文字等软件时，发现通常经过“翻译”的文本变得错字连篇，而且有时候错的不可思议。

2 机器学习

        机器学习：根据样本训练模型，如训练好的神经网络是一个针对特定分类问题的模型；重点在于“学习”，训练模型的过程就是学习；机器学习的落脚点是思考； 

        不同于模式识别中人类主动去描述某些特征给机器，机器学习可以这样理解：机器从已知的经验数据（样本）中，通过某种特定的方法（算法），自己去寻找提炼（训练/学习）出一些规律（模型）；提炼出的规律就可以用来判断一些未知的事情（预测）。

        也就是说，模式识别和机器学习的区别在于：前者喂给机器的是各种特征描述，从而让机器对未知的事物进行判断；后者喂给机器的是某一事物的海量样本，让机器通过样本来自己发现特征，最后去判断某些未知的事物。

3 深度学习

        在深度学习的模型中，受宠爱最多的就是被用在大规模图像识别任务中的卷积神经网络（Convolutional Neural Nets，CNN），简称ConvNets。

        深度学习强调的是你使用的模型（例如深度卷积多层神经网络），模型中的参数通过从数据中学习获得。然而，深度学习也带来了一些其他需要考虑的问题。因为你面对的是一个高维的模型（即庞大的网络），所以你需要大量的数据（大数据）和强大的运算能力（图形处理器，GPU）才能优化这个模型。卷积被广泛用于深度学习（尤其是计算机视觉应用中），而且它的架构往往都是非浅层的。

Andrej Karpathy的博文：“ 神经网络的黑客指南 ”：http://karpathy.github.io/neuralnets/

4 区别与联系

       模式识别是根据已有的特征，通过参数或者非参数的方法给定模型中的参数，从而达到判别目的的；机器学习侧重于在特征不明确的情况下，用某种具有普适性的算法给定分类规则。

       学过多元统计的可以这样理解：模式识别的概念可以类比判别分析，是确定的，可检验的，有统计背景的（或者更进一步说有机理性基础理论背景），而机器学习的概念可以类比聚类分析（聚类本身就是一种典型的机器学习方法），对“类”的严格定义尚不明确，更谈不上检验；

        针对市面上很多关于模式识别与机器学习的著作内容重合，应该这么看： 

        ①算法是中性的，两个不同的学科领域关键看思维。如神经网络的应用，如果通过具体学科，如生物学的机理分析是明确了某种昆虫的基因型应该分为两类，同时确定了其差异性的基因是会表现在触角长和翅长两个表现型的话，那么构造两个（触角长，翅长）——（隐含层）——（A类，B类）的网络可以看作对已有学科知识的表达，只是通过网络刻画已有知识而已；而机器学习的思路是：采样，发现两类品种差异最大的特征是触角长和翅长（可能会用到诸如KS检验之类的方法），然后按照给定的类目：两类来构造神经网络进行分类；同一个算法，两个学科是两种思路；②模式识别在人工智能上的前沿成果已经慢慢被机器学习取代，所以很多以AI为导向的模式识别书记包含了很多机器学习的算法也正常，毕竟很多新成果是机器学习做出的；

        关于应用范围，机器学习目前是在狭义的人工智能领域走得比较快，但是广度还是模式识别广，模式识别在很多经典领域，如信号处理，计算机图像与计算机视觉，自然语言分析等都不断有新发展；

        从发展目标看，机器学习是要计算机学会思考，而模式识别是具体方法的自动化实现（不止计算机，还包括广义的控制系统），从立意上机器学习要高出一筹。

https://blog.csdn.net/qq_33414271/article/details/78682239

https://www.csdn.net/article/2015-03-24/2824301#q=machine+learning,+pattern+recognition,+deep+learning&cmpt=q&tz&tz

https://www.zhihu.com/question/38106452/answer/211218782

https://baijiahao.baidu.com/s?id=1597159183746168684&wfr=spider&for=pc

https://blog.csdn.net/scyscyao/article/details/5987581