AI开发者大会：2020年7月3日09:50--10:10唐杰《人工智能的下一个十年》
导读：人工智能的第三次浪潮中，超越深度学习—ML和DL需要结合符号AI；自监督学习将会大放异彩。博主评论：说实话，正好与博主前段时间被采访时所说的看法不谋而合，博主当时在展望AI未来的时候，就特别强调了无监督学习的重要性，以及在走向强AI的路上，非常有必要对AI+意识进行深度探讨与分析。
- Next10——认知与推理：大数据+知识+智能，从感知到认知；认知图谱，算法与认知科学的结合。知识图谱，认知推理，逻辑表达。
- Next30——意识(让计算机具有自我意识)：认知与推理+记忆+自我意识。有监督、无监督、强化、注意力，结合fine-tune可以实现全局工作理论。
目录
2020年7月3日09:50--10:10唐杰《人工智能的下一个十年》
人工智能的第三次浪潮
AI趋势：从感知到认知
回顾机器学习
2018年的预训练模型BERT
自监督学习——MoCo
第三代人工智能
超越深度学习—ML和DL需要结合符号AI
算法是核心，计算机、数据是基础
认知图谱(Cognitive Graph) 一知识图谱，认知推理，逻辑表达
认知图谱：算法与认知的结合
和认知科学的结合
认知图谱的推理模型
认知图谱的推理模型：System1 VS System2
认知图谱的推理效果
挑战与未来
Next10——认知与推理：大数据+知识(Knowledge)+智能(Intelligence)
Next30——意识(让计算机具有自我意识)：认知与推理(Reasoning)+记忆(Memory)+自我意识(Consciousness)
意识：全局工作理论——GWT
2020年7月3日09:50--10:10唐杰《人工智能的下一个十年》
人工智能的第三次浪潮
AI趋势：从感知到认知
回顾机器学习
2018年的预训练模型BERT
自监督学习——MoCo
- 无需标记样本，即可学习图形表示
- Momentum contrastive learning
- 效果甚至超过有监督学习结果
第三代人工智能
- 第一代——符号Al：符号模型 ／规则模 型／感知机。
- 第二代——感知智能：大数据驱动的统计学习方法初步实现 了针对文本、图像 、语音等的感知与识别。
- 第三代——认知智能：张拔院士2016年提出第三代 人工智能雏形，DARPA 2018 年发布Al Next计划。核心思路是推进统计与知识推理融合的计算；与脑认知的融合。
- 目前急需的是高质量超大规模知识图谱（Al的基础设施）以及对知识的理解能力（面向认知的深度学习算法)。
超越深度学习—ML和DL需要结合符号AI
算法是核心，计算机、数据是基础
认知图谱(Cognitive Graph) 一知识图谱，认知推理，逻辑表达
认知图谱：算法与认知的结合
Question: Who is the director of the 2003 film which has scenes in it filmed at the Quality Cafe in Los Angeles?
提问：谁是这部2003年的电影的导演，这部电影的场景是在洛杉矶的Quality咖啡馆拍摄的?
和认知科学的结合
认知图谱的推理模型
- System 1: 一Knowledge expansion by association in text when reading
- System 2: 一Decision making w/ all the information
认知图谱的推理模型：System1 VS System2
认知图谱的推理效果
挑战与未来
Next10——认知与推理：大数据+知识(Knowledge)+智能(Intelligence)
Next30——意识(让计算机具有自我意识)：认知与推理(Reasoning)+记忆(Memory)+自我意识(Consciousness)
意识：全局工作理论——GWT
以下观点来自Carnegie Mellon University的图灵奖得主Manuel Blum的分析
- 有意识学习：所谓的有意识学习，就是有目标的机器学习，给定数据，训练一个模型 ，通过模型进行分类（决策），所以有意识学习输出是一个短期记忆模型，但这个短期记忆模型比较简单：数据有限、无背景知识。
- 无意识学习：所以无意识就对应着长期记忆模型，长期记忆模型有点类似半监督或者无监督学 习模型，或者当下比较流行的预训练和自监督学习；无意识处理对应多种长期记忆，所以无意识可以考虑多个不同的处理器，这些处理器之间 可以有链接，也可以没有，很多时候是并行处理，
- 但针对特定任务，比如有意识思考某个问题的时候，形成特定连接，包括无意识处理器（无监督模型）和有意识处理器（有监督模型）之间的连接，这里可以考虑 成fine-tune。当然连接权重可以通过外界反馈强化学习来实现。无意识处理器之间的连接以及和有意识处理器之间的连接可以类比为注意力机制。
- 最后值得注意的是长期记忆的构造和实现，人脑记忆保存的是模型图，而不是概念图。每个长期记忆都可能是一个模型，可以生成样本， 具体学习方法，可以想象一下是一个层次聚类。通过这样就可以用有监督、无监督、强化、注意力、fine-tune来实现GWT模型。