（报告出品方/分析师：国信证券 胡剑 胡慧 周靖翔）
百亿参数大模型具备涌现能力，训练数据需等比例提升
大模型的参数下限：AI2.0时代，基础大模型参数指数级增长
李开复提出本次由GPT-4、ChatGPT引发的AI新机遇与之前有所不同，属于AI 2.0时代。
AI 1.0时代具体指的是以CNN（卷积神经网络）为核心，机器视觉和自然语言处理快速发展的时期，暴涨的数据量伴随搜集、清洗、标注整个过程的成本增加，且单一领域的数据集和模型形成孤岛，每个领域和应用的优化都是割裂的，难以形成“通用”。
AI 2.0时代的特征是通过海量数据，无需标注自监督学习，训练一个基础大模型，并在各个应用领域将其专业化。
具体来说有三个特点：
1）对于拥有的超级海量的数据，无需进行人工标注，即进行自监督学习；
2）基础模型规模非常大，参数规模从十亿到千亿级别；
3）训练出的基础模型具有跨领域知识，而后通过微调用降低成本的方法来训练，以适应不同领域的任务。
AI 2.0的巨大跃迁之处在于，它克服了前者单领域、多模型的限制。
以大语言模型（Large Language Model，LLM）为例，语言模型已经存在了几十年，从最基本的N-gram模型（语言由简单的向量表示），到更复杂的RNN模型、LSTM神经网络，再到2017年Google Brain 提出Transformer。
Transformer不再基于对每个单词的单独理解进行处理，而是将句子和段落作为一个整体进行处理，使LLM能够从自然语言中深入理解人类的意图，并让一系列应用成为可能：从描述中生成艺术创作、将大量非结构化数据提炼成简洁的摘要、更准确的翻译、回答复杂的查询等。
以模型中的参数数量衡量，大型语言模型的参数在过去五年中以指数级增长。模型的性能非常依赖于模型的规模，具体包括：参数数量、数据集大小和计算量，模型的效果会随着三者的指数增加而线性提高，这种现象被称为Scaling Law（缩放能力）。
当模型的参数量大于一定程度的时候，模型能力会突然提升，并拥有一些未曾出现的能力，如推理能力、无标注学习能力等，这种现象被称为涌现能力。
在Jason Wei的论文中，具体定义为“在小模型中没有表现出来，但是在大模型中变现出来的能力”。“涌现能力”只是对一种现象的描述，而并非模型的某种真正的性质，出现涌现能力的原因也尚待探索。
其中一种观点认为，大模型的涌现能力来自于其不连续的评价指标。如果换成更为平滑的指标，相对较小的模型的效果也并非停滞不前，规模在阈值以下的模型，随着规模的提高，生成的内容也在逐渐靠近正确答案。
斯坦福的研究人员将NLP中不连续的非线性评价指标转为连续的线性评价指标，结果模型的性能变得更加平滑、可预测。具体来看，10^9以上模型能力提升加速，因此目前来看10^9几乎是大语言模型参数量的下限。
大模型的参数上限：参数的增加需要同等量级的训练集增加
参数数量的增速应与训练token数量的增长速度大致相同，从而让模型损失(L)实现最小化，性能最大化。
Deepmind在《Traning Compute-Optimal Large Language Models》中，通过在5到5000亿个token上训练400多个语言模型，参数个数范围从7000万到160亿，发现模型大小和训练集数量应该相等地缩放，从而达到最佳效果。
目前看来，单一语言模态的大模型，100B量级的参数足以满足大多数知识检索和浅层推理的需求，但充分释放这些参数的全部潜力需要1000B量级的训练token。
作为验证，通过训练一个预测的计算最优模型Chinchilla来检验这个假设，该模型使用与Gopher使用相同的FLOTs，但具有70B个参数和4倍多的数据，最终在大量下游评估任务中，Chinchilla表现显着优于Gopher，且其缩小的模型尺寸大大降低了推理成本，并极大地促进了下游在较小硬件上的使用
因此，优质大模型的训练，高质量的大数据集是必要条件。
目前主要的数据获取渠道是公开的论坛，例如谷歌的LaMDA模型，在论文中表示其预训练数据50%对话数据来自公共论坛；12.5% C4数据；12.5%的代码文档来自与编程相关的网站；12.5%维基百科；6.25%英文网页文档；6.25%的非英语网络文档，数据集中的单词总数为 1.56T，而OpenAI使用了45T数据。
未来如何获得高质量的训练集始终是各家大厂的首要竞争领域。
大模型训练对硬件的挑战：算力、内存和通信
内存方面，大模型训练的内存可以大致理解为参数、优化器状态、激活、梯度四部分的和。它们大致分为两类：静态内存和动态内存。
参数、优化器状态较为固定，属于静态内存，激活和梯度等中间变量属于动态内存，是最主要的内存占用原因，动态内存通常是静态内存的数倍。
我们可以粗略的计算训练1750亿参数的GPT3所需内存，大约需要3.2TB以上。
静态内存方面，大多数Transformer都是以混合精度训练的，如FP16+FP32，以减少训练模型内存，则一个参数占2个字节，参数和优化器状态合计占用内存1635G。而动态内存，根据不同的批量大小、并行技术等结果相差较大，通常是静态内存的数倍。更简洁的估算方法，可以假设典型的LLM训练中，优化器状态、梯度和参数所需的内存为20N字节，其中N是模型参数数量，则1750亿参数的GPT3大概需要3.2TB内存。
推理所需内存则较小，假设以FP16存储，175B参数的GPT3推理大约需要内存327G，则对应4张80G A100，如果以FP32运算，则需要10张。
算力方面，根据OpenAI在2020年发表的论文，训练阶段算力需求是模型参数数量与训练数据集规模乘积的6倍：训练阶段算力需求=6×模型参数数量×训练集规模；推理阶段算力需求是模型参数数量与训练数据集规模乘积的2倍：推理阶段算力需求=2×模型参数数量×训练及规模。
训练阶段：考虑采用精度为32位的单精度浮点数数据进行训练和推理。以A100 PCle芯片为例（H100 PCle芯片同理），根据前述公式，GPT-3训练所需运算次数为：样本token数3000亿个*6*参数量1750亿个=315*10^21FLOPs；考虑训练时间要求在30天完成（训练时间为2592000秒），则对应GPT-3训练所需算力为121528TFLOPS；结合A100有效算力78TFLOPS，得到所需GPU数量为1558个，对应AI服务器为195台。
推理阶段：按谷歌每日搜索量35亿次进行估计，假设每次访问提问4次，每次提问+回答需处理字数425字，平均每个字转换为token比例为4/3，则每日GPT-3需推理token数为79330亿个，则推理所需运算次数为4760*10^21FLOPs；考虑推理时间以每日为单位（推理时间为86400秒），则对应GPT-3推理所需算力为55*10^6TFLOPS；结合A100有效算力78TFLOPS，得到所需GPU数量为706315个，对应AI服务器为8.8万台。
因此，训练大模型必然需要采用分布式方案。不仅要满足算力的需求，还要解决上千块 GPU的分布式训练问题，需要考虑到上百台服务器之间的通信、拓扑、模型并行、流水并行等，这也是复现GPT-3 的核心难点，模型发布后一年也只有NVIDIA、微软等大厂成功复现，目前开源的GPT模型库就主要是NVIDIA的Megatron-LM和微软的DeepSpeed。
终端部署具有必要性，轻量化技术优化模型
超低时延的智慧场景，终端部署具有必要性
云计算和边缘计算的主要区别在于处理所在的位置。边缘计算，处理发生在网络边缘，更靠近数据源，而云计算，处理发生在数据中心。
边缘计算是指在尽可能靠近数据源或终端的地方捕获和处理数据。通过在数据源的物理位置附近放置服务器或其他硬件来处理数据，在本地完成处理而不是在云端或集中式数据中心，它能最大限度地减少延迟和数据传输成本，允许实时反馈和决策。
边缘计算的历史可以追溯到上世纪90年代，当时内容分发网络 (CDN) 充当分布式数据中心。但CDN仅限于缓存图像和视频，而不是海量数据工作负载；
2000年左右，智能设备的爆炸式增长给现有IT基础设施带来了压力，诸如点对点(P2P)网络的发明减轻了这种压力，在这种网络中，计算机无需通过单独的集中式服务器计算机即可连接并共享资源；
10年代，大公司开始通过公共云向终端用户出租计算和数据存储资源；
2020年后，边缘计算融合了CDN的低延迟能力、P2P网络去中心化平台以及云的可扩展性和弹性，共同构建了一个更高效、更有弹性和更可靠的计算框架。
目前，越来越多的场景将计算基础设施更靠近传入数据源，让AI模型在云端训练，并部署在终端设备上。例如计算机视觉等高度数据密集型、低时延要求类的任务，将AI模型部署在终端的优势包括：
1）更低的延迟：因为传感器和物联网设备产生的数据不再需要发送到集中式云进行处理，可以实现更快的响应，获得结果的时间可能从几秒减少到几分之一秒。
2）减少带宽：当数据发送到云端时，它通过广域网传输，需要满足全球覆盖和高带宽，成本较高。而边缘计算可以利用局域网处理数据，从而以更低的成本获得更高的带宽。
3）数据安全：边缘计算允许组织将所有数据和计算保存在合适的位置，关键数据不需要跨系统传输，减少遭受网络安全攻击的风险。
4）保护用户隐私：人工智能可以分析现实世界的信息，而无需将其暴露给人类，大大增加了任何需要分析外貌、声音、医学图像或任何其他个人信息的隐私安全。即使部分数据是出于培训目的而上传，也可以将其匿名化以保护用户身份。
5）高可靠性：去中心化和离线功能使边缘AI更加稳定，不受网络访问限制，这是关键任务系统稳定运行的必要条件。
当边缘AI应用程序遇到它无法准确处理的数据时，它通常会将其上传到云端，以便AI算法可以重新训练并从中学习。
因此，模型在边缘运行的时间越长，模型就会变得越准确，由于可以获得如此多的价值，企业正在迅速采用边缘计算。
Gartner预测，到2023年底，50%的大型企业将拥有记录在案的边缘计算战略，而2021年这一比例还不到5%。
缩减优化模型，部署终端设备
通过优化，预估模型算力成本大约会降至原来的1/4，为模型的边缘部署提供技术基础，目前常见的优化方法有三类：
1）量化：量化是模型压缩的一种常用手段，核心思想是将模型参数从高精度转换为低精度，将多bit高精度的数（FP32、FP16等）量化为较少bit低精度的数值（INT8、INT4等），即从浮点到定点数的转换。量化方法可分为训练时量化（PTQ，post-training quantization)，这种量化方式需要重新训练来缓解量化带来的精度损失；训练后量化（QAT，quantization-aware training)，在大模型场景上，更青睐于QAT，因为能够更好的保证性能。量化的优势包括减少内存占用，节省存储空间，降低功耗和占用面积，提升计算速度。
高通团队采用量化技术等，首次在安卓手机上部署Stable Diffusion，实现本地运营15秒出图，证明了百亿参数级大模型优化后可在终端本地运行的可能。
Stable Diffusion是一个从文本到图像的生成式AI模型，参数达到11亿，计算量是智能手机上运行的典型工作负载大小的10倍以上，主要限于在云端运行。
高通技术团队使用高通AI软件栈（Qualcomm AI Stack）执行全栈AI优化，使用高通AI模型增效工具包(AIMET)对模型进行量化，Hugging Face的FP32version1-5开源模型开始，通过量化、编译和硬件加速进行优化，在搭载Snapdragon 8 Gen2移动平台的手机上运行，15秒内完成了推理，生成一张512x512像素的图像。
推理部分是在Hexagon处理器上完成的，通过让模型在专用AI硬件上高效运行，可消耗更少的内存带宽来节省电量。
相比之下，在高通发布Demo视频之前，已经有开发者展示了在搭载高通骁龙865的8G RAM索尼Xperia 5 II上运行Stable Diffusion，生成一张分辨率512x512的图像需要1个小时。
2）知识蒸馏（knowledge distillation）：是模型压缩的一种常用的方法，不同于剪枝和量化，知识蒸馏是通过构建一个轻量化的小模型，利用性能更好的大模型的监督信息，来训练这个小模型，以期达到更好的性能和精度。
最早是由Hinton在2015年首次提出并应用在分类任务上面，这个大模型被称之为教师模型，小模型称之为学生模型。来自教师模型输出的监督信息称之为知识，而学生模型学习迁移来自教师模型的监督信息的过程称之为蒸馏。
在子模型场景当中，子模型是完整模型的子集，每个子模型能够独立的训练，学习到某个特定的特征空间的知识。某个设备的数据仅仅占了完整数据集的一部分；映射到特征空间也仅仅是一个区域；使用这个设备的数据集进行训练仅仅更新了完整模型的一部分。因此可以将模型的子集提取出来单独训练，最后整合实现高效的模型更新。
基于知识蒸馏技术，边缘设备除了简单的请求，也可以实现模型更新，反哺集中式数据中心的大模型。
联邦学习最早是谷歌在2017年4月提出的，可以让数据不离开设备的前提下进行机器学习，且适应性强，保护数据隐私，安全系数高。
机器学习模型在现实中的性能表现取决于用来训练它的数据具有多高的相关度，最好的数据就是每天使用的设备。
联邦学习会通过服务器发送一部分模型到终端手机，通过几分钟就可以完成训练，然后把训练成果传回服务器。
3）剪枝算法：过参数化主要是指在训练阶段，在数学上需要进行大量的微分求解，去获取数据中的微小变化，一旦完成迭代式的训练之后，网络模型推理的时候就不需要这么多参数。而剪枝算法正是基于过参数化理论提出的，核心思想是减少网络模型中参数量和计算量，同时尽量保证模型的性能不受影响。
主要是分为Drop Out和Drop Connect两种经典的剪枝算法：Drop Out：随机的将一些神经元的输出置零，称之为神经元剪枝；Drop Connect：随机将部分神经元间的连接Connect置零，使得权重连接矩阵变得稀疏。
“贾维斯”式智能管家，引领全新换机需求
大语言模型有望成为复杂AI系统的控制中心和交互入口
大模型协作让“贾维斯”式智能管家更进一步。Jarvis全称Just A Rather Very Intelligent System，是漫威宇宙中钢铁侠的AI助手，不仅能完成智能家居管理，还能实时监控周围环境、与用户实时沟通、为用户计算最优策略等，这些强大的功能显然这不是一个单独的AI模型可以解决的。
微软亚洲研究院曾在Github上开源过一个叫做Jarvis的项目，该系统由LLM作为控制器和许多来自HuggingFace Hub的AI模型作为协作执行者组成，该系统让LLM充当控制器来管理现有的AI模型，使用语言作为通用接口来调用外部模型，解决实际任务。
该系统的具体工作流程包括四个步骤：
1）任务规划，使用ChatGPT等大语言模型分析用户请求，了解用户意图，并将其拆解成可解决的任务；
2）模型选择，为了解决计划的任务，ChatGPT根据描述选择托管在Hugging Face上的AI模型；
3）任务执行，调用并执行每个选定的模型，并将结果返回给ChatGPT。
4）生成响应，最后使用ChatGPT整合所有模型的预测，生成Response。
未来，智能音箱、家用中控屏、甚至于手机、MR都有可能成为“贾维斯”式管家的交互入口，及时性、可靠性、隐私性或是算力角度，将作为模型协作控制中心的大语言模型部署到边缘设备上必要性越来越强。
2023年5月第三周，OpenAI向所有ChatGPT Plus用户推出Beta版本，有望成为“贾维斯”核心控制中心，打造全新的流量入口和应用生态。
Beta版本ChatGPT支持联网和70多种第三方插件，覆盖购物、餐饮、旅行、天气、运算、翻译、分析数据等多种功能。ChatGPT Plugin的发布为智能助理的出现提供了条件，让语言成为各大模型交互的通用接口。尽管目前尚处于初期，效果不尽如人意，但通过人类语言指挥ChatGPT帮自己与各种应用交互仍是令人兴奋的尝试。
随之而出现的，则是用户和App提供方的担忧。App公司普遍担忧GPT4太过聪明，接入的App不仅害怕数据失去独占优势，还担心GPT4通过推理洞悉尚未发现的业务。我们认为，出于数据资源所有权分配以及数据安全的担心将推动终端部署大模型的需求。
各家大厂对终端运行大模型的尝试频频，2023年5月11日，Google在其第15届I/O开发者大会上发布了PaLM2，相比PaLM 5400亿参数，它的算法经过优化，使得体积更小，但整体性能更好，计算效率更高，支持100多种语言和20多种编程语言，支持多模态的PaLM 2还能看懂和生成音视频内容。与ChatGPT相比，PaLM2优势在于响应速度更快。
谷歌表示，名为Gemini的下一代模型将是多模式的，具有突破性的功能，但它仍在接受培训，距离发布还有几个月的时间。
另外，PaLM2模型从小到大有4种版本：“壁虎” （Gecko）、“水獭”（Otter）、“野牛”（Bison）、“独角兽”（Unicorn），实现在不同等级的设备上部署。例如在智能手机上就可以运行规模比较小的Gecko模型，让移动端也能拥有大语言模型。
Gecko模型可以在完全离线的情况下在智能手机上运行，它可以在旗舰手机上每秒处理20个token，大约是每秒16个单词。谷歌没有明确说明使用了什么硬件来测试，但提到是在“最新的手机上”运行，这证明了与大模型具备类似能力的轻量化版本可以实现本地化部署。
2023年5月19日，OpenAI在美国区iOS商城发布ChatGPT App，这是用户首次可以在搜索引擎或浏览器之外的移动设备上访问ChatGPT。
目前App可以免费使用，并可同步网页端历史信息。在其欢迎界面上，App提醒用户ChatGPT是有可能提供不准确的信息，并且建议用户不要提供敏感信息，因为匿名信息也可能会被OpenAI的训练员用来改善系统。
目前ChatGPT App仅支持iPhone8及更新的机型，支持iOS 16.1及更新的系统，切仅支持文字交互模式，不支持多模态的图片或视频输出，也不能调用摄像头，不支持联网、插件功能。ChatGPT移动端的推出也有望推动谷歌等其他大厂快速跟进，AI模型全面进入移动端创新阶段。
当前旗舰机款手机芯片仅可运行优化版十亿参数级大模型
上一代人工智能程度较低拉低交互体验，阻碍AIoT发展。2011年Apple推出Siri，使语音助手成为当时人工智能竞赛热门赛道，引发Google(Google Assistant)、Amazon(Alexa)、微软(Cortana)等科技巨头纷纷加码跟进，抢占AIoT控制流量入口。
由于通过指挥控制系统进行工作，上一代语音助理仅可以理解有限的问题和请求列表(包含在数据库中的单词列表)，如果用户要求虚拟助手做一些代码中没有的事情，机器人会简单地说它无法提供帮助。由于智能化较低，全球语音助理、智能音箱及其他语音交互AIoT行业发展经过初期高速成长期后陷入沉寂。
以苹果手机的Siri为例，目前旗舰机型手机芯片能支持离线唤醒和语音识别。成功唤醒电子设备是实现人机语音交互的基础。
当设备处于待机状态时，需要识别用户输入的语音唤醒信号，如果识别成功则切换到工作状态。
目前常见的唤醒方法是通过预设的唤醒参数检测用户的语音输入，唤醒参数如唤醒门限、拾音方向、噪声抑制参数、放大增益等，参数的取值决定了电子设备唤醒率的高低。这通常由一个独立的小芯片，在本地实现。
检测关键词的探测器（Detector）不仅要长时间待机且功耗要足够低到对电池寿命无显著影响，并最小化内存占用和处理器需求。
以iPhone的Siri为例，iPhone的Always on Processor（AOP）是一个小的、低功耗的辅助处理器，即嵌入式运动协处理器。AOP可以访问麦克风信号，并用自己有限的处理能力运行一个修剪版神经网络模型（DNN）。
当分数超过阈值时，运动协处理器唤醒主处理器，主处理器使用较大的DNN分析信号。第一个检测器使用5层32个节点的隐藏单元的DNN（AOP运行），第二个检测器使用5层192个节点的隐藏单元DNN（主CPU）。
而在Apple Watch中，因为电池体积缩小、产品体积缩小，对功耗提出了新的需求，采用的是单通道检测，机器学习模型介于手机上的第一次和第二次检测之间，并仅在手表运动协处理器检测到抬手手势时运行。如果语音内容超过了本地模型的理解范围，数据就会传递到Siri服务器，用更复杂的模型识别。
iPhone6时代，Siri仅可以离线被“唤醒”，A12仿生芯片时代，Siri可以支持部分离线请求。
A11是苹果首次搭载神经网络引擎处理器单元（Neural Network Processing Unit NPU），但主要是支持面部识别。2018年苹果推出的A12 Bionic，采用了台积电7nm工艺制程，苹果自研的Fusion架构，NPU从双核直接升级到八核，能够实现每秒5万亿次计算。
搭载A12仿生芯片的iPhoneXS首次支持Siri离线运行，在不联网的情况下，Siri可以执行拨打电话、打开特定应用、设置闹钟等请求，也可以实现语音输入等功能，但是无法响应预设内容以外的请求。
这说明10亿参数以下的RNN模型已经完全可以离线运行，但是复杂请求无法实现。
目前具备运行优化模型能力的终端仅限头部品牌旗舰手机。
根据目前各家公司对于边缘端部署的情况推测，即使经过量化、剪枝、蒸馏等方式优化大模型后，仍然需要旗舰版的手机芯片可以勉强承载运行。
假设旗舰机型主处理器频率应在2.8GHz以上，或是价格在1000美金以上，根据IDC数据，1Q23全球手机销量中主处理器频率超过2.8GHz的占比36%，销售价格在1000美金以上的手机销量占比13%。
随着AIGC赋能语音助理，AIoT交互体验升级有望激发终端换机需求。
AI助手在大语言模型和算力加持下，自然语言理解能力大幅提升，具备了实际生产力后，用户产生使用AI助手的需求，从而推动手机换机新周期。此外，智能音箱、全屋智能中控屏、VR/AR/MR等同样有望成为“贾维斯”的交互入口。
23年4月，脱口秀演员鸟鸟介绍了自己的分身“鸟鸟分鸟”，这个数字分身为阿里训练出来的类ChatGPT语音助手，能够模仿她的音色、语气以及文本风格。
阿里展示了“鸟鸟分鸟”模型接入智能音箱使用效果，其智能语音交互功能获得颠覆式升级，聊天技能明显升级，AI有望真正实现对IoT赋能。
产业链相关公司
半导体：晶晨股份、瑞芯微、全志科技、北京君正、兆易创新；
消费电子：传音控股、立讯精密、歌尔股份、福立旺、闻泰科技、创维数字。
风险提示
AI技术发展不及预期；边缘端芯片发展不及预期。
——————————————————
报告属于原作者，仅供学习！如有侵权，请私信删除，谢谢！
报告来自【远瞻智库】