天天看点

LPDDR 内存是设备AI性能的关键

作者:半导体产业纵横
LPDDR 内存是设备AI性能的关键

本文由半导体产业纵横(ID:ICVIEWS)综合

LPDDR 是从 DDR 内存技术发展而来,是一种节能的替代方案。

LPDDR 内存是设备AI性能的关键

低功耗双倍数据速率 (LPDDR) 是专为手机设计的高性能低功耗内存。自 2006 年首次发布以来,每一代 LPDDR 都提供了移动用户体验重大转变所需的带宽和容量。随着下一波生成式 AI 应用将内置于我们的手机和笔记本电脑中,LPDDR 再次走在了另一场关键转变的前沿。

终端上的人工智能的关键在于高效推理。使用经过训练的人工智能模型进行预测或决策的过程需要专门的内存技术,这些技术具有更高性能,可根据终端设备的独特需求量身定制。终端上的人工智能推理内存需要在带宽、容量、功率和外形紧凑性之间取得适当的平衡。

LPDDR 是从 DDR 内存技术发展而来,是一种节能的替代方案。LPDDR的优势在于,当终端设备不使用内存时,它的功耗非常低。由于工作频率较低,因此与DDR相比,该低功耗标准可以轻松快速地调节性能。LPDDR可在终端设备不使用时进入低功耗状态,从而显著降低功耗。LPDDR5X是迄今为止速度最快、效率最高的LPDDR标准版本。

各种应用和终端设备都需要快速的内存访问,以便做出实时决策:

  • 智能手机和其他移动应用,需要高带宽和优化功耗,并能根据设备活动调整频率。
  • 汽车处理器,用于支持高级驾驶辅助系统(ADAS)等应用。大多数汽车应用使用汽车级SDRAM,标准比传统消费级产品更为严格。
  • 人工智能加速器,即高性能并行计算机,可高效处理神经网络等人工智能工作负载。
  • 边缘人工智能,需要在本地实现零延迟的快速数据处理。
  • 用于摄像头和视频设备、电视和路由器等数字家庭产品及媒体设备的芯片,必须能执行快速的超高密度(UHD)多媒体处理。
  • 5G网络设备,需要实时数据传输,以支持快速数据下载和上传。

LPDDR5 和可选扩展 LPDDR5X 是该标准的最新更新。

LPDDR5X标准由JEDEC于2021年6月发布,它是一种专用的同步动态随机存取存储器(SDRAM)。与之前的LPDDR5标准相比,LPDDR5X在多个方面实现了改进:

  • 在保持1.1V内核电压不变的情况下,速度从6.4Gbps提升到8.5Gbps。
  • 通过采用接收器均衡和发射器[SH1] 预加重技术,改善了信号完整性 。
  • 全新的自适应刷新管理功能提高了可靠性。
  • 电池效率提高了多达20%。

LPDDR5X 专注于提高性能、功率和灵活性;它提供高达 8.533 Gbps 的数据速率,显著提高了速度和性能。与 DDR5 内存相比,LPDDR5/5X 将数据总线宽度限制为 32 位,同时提高了数据速率。与 LPDDR4 中的半速时钟相比,切换到四分之一速时钟,再加上一项新功能——动态电压频率调节,使更高数据速率的 LPDDR5 操作保持在与基于 LPDDR4 的设备相同的热预算内。

考虑到移动设备的空间考虑,以及高级应用程序对内存的更大需求,LPDDR5X 可以通过在多芯片封装中使用多个 DRAM 芯片来支持高达 64GB 的容量。以 7B LLaMa 2 模型为例:如果基于 INT4,该模型将消耗 3.5GB 的内存容量。x64 的 LPDDR5X 封装,每个封装有两个 LPDDR5X 设备,提供 68 GB/s 的总带宽,因此,LLaMa 2 模型可以以每秒 19 个令牌的速度运行推理。

随着对更高内存性能的需求不断增长,我们看到 LPDDR5 在市场上不断发展,主要供应商宣布对 LPDDR5 进行额外扩展,称为 LPDDR5T,其中的 T 代表 turbo。LPDDR5T 将性能提升至 9.6 Gbps,在多个 LPDDR5T 堆栈的 x64 封装中实现 76.8 GB/s 的总带宽。因此,上述 7B LLaMa 2 模型示例可以以每秒 21 个令牌的速度运行推理。

LPDDR5 具有低功耗和高带宽功能,不仅适用于尖端移动设备,而且适用于终端的 AI 推理,在这些终端上,能效和紧凑外形是至关重要的考虑因素。Rambus 提供全新的LPDDR5T/5X/5 控制器 IP,该 IP 经过全面优化,可用于需要高内存吞吐量和低延迟的应用。Rambus LPDDR5T/5X/5 控制器支持尖端的 LPDDR5T 内存设备,并支持所有第三方 LPDDR5 PHY。它通过前瞻命令处理、存储体管理和自动预充电来最大化总线带宽并最小化延迟。该控制器可以与附加内核(如在线 ECC 或内存分析器内核)一起交付,以提高现场可靠性、可用性和可维护性 (RAS)。

随着移动通讯、人工智能和高等级自动驾驶汽车等带宽密集型应用的日益普及,对高速内存访问的需求将持续增长。低成本的LPDDR5X SDRAM提供了出色的速度,考虑到LPDDR内存接口标准迄今为止的演变,其未来的发展不可限量。

*声明:本文系原作者创作。文章内容系其个人观点,我方转载仅为分享与讨论,不代表我方赞成或认同,如有异议,请联系后台。

继续阅读