科技大厂Google日前发表最新AI压缩技术TurboQuant，这项可以将AI模型中在推论过程中所需的记忆体大幅减少，这一消息传出后震撼了业界，也让市场开始质疑记忆体芯片的荣景是否能够延续。
TurboQuant是一种旨在解决“键值快取（Key-Value Cache）”瓶颈问题的演算法，Google将键值快取描述为“数位作弊表”，他实际上充当了AI模型的短期记忆。每当大型语言模型处理一段对话时，都会将过去的计算结果储存在这个快取中，这样就无需从头开始计算。
随着对话愈长，这份表就愈大，占用GPU（图型处理器）记忆体的速度就愈快。虽然可以透过压缩资讯来增加这张“作弊表”的容量，但他仍会很快被填满，然而，压缩可能会导致模型出现“幻觉”或是出错。
市场听说AI相关的记忆体使用量减少了6倍，这可能会让那些从记忆体类股热潮中获利的投资人感到担忧，因为这些公司的涨势是建立在AI对记忆体处理器和储存容量不断成长的需求之上。
Evercore分析师达里亚纳尼（Amit Daryanani）指出，Google推出的TurboQuant为大幅降低AI工作负载的记忆体提供了一条途径。如果TurboQuant能够获得显著发展，可能会对DRAM（动态随机存取记忆体）和NAND（储存型快闪记忆体）等记忆体的长期需求预期构成压力。
美光单周市值蒸发700亿美元
受到Google最新技术的打击，美国记忆体芯片股单周市值蒸发近1000亿美元。
其中以美国记忆体大厂美光科技表现最惨烈，单周市值蒸发超过700亿美元，跌幅达15％。去年，标普500指数当中表现最好的快闪记忆体制造商晟碟（SanDisk）单周市值蒸发约150亿美元；记忆体公司威腾电子（Western Digital）和希捷（Seagate）市值也分别蒸发了数十亿美元。
加州资产管理公司Informed Momentum Company投资长普伦帝斯（Travis Prentice）表示，这些股票已经经历了巨大的上涨，因此任何微小的消息都可能导致股价下跌，这是合乎逻辑的情况。
普伦帝斯补充，记忆体类股的上涨行情看起来还没有结束，但市场预期很高，因此获利了结是明智之举，尤其是在当前动荡的市场环境下。
效能更强的AI模型需用更多记忆体
专家表示，虽然TurboQuant技术可以减少记忆体使用量，但对记忆体需求减缓的担忧有些过头了。普遍观点认为，尽管Google宣布记忆体使用量可能减少，但这将推动AI技术的进步和普及。因此，TurboQuant技术出现实际上代表芯片需求增加，而不是减少。
一些分析人士指出，提高资源利用率往往会导致资源消耗增加，因为效率提升会开启以前不存在的用途。
摩根大通（JPMorgan）报告就提到了这一论点，报告中认为，记忆体消耗短期内不会受到威胁。 SemiAnalysis分析师也提到，解决瓶颈问题可以提升AI硬体的效能，而效能更强的模型最终需要的是更多的记忆体，而不是更少记忆体。
摩根士丹利（Morgan Stanley）分析师在报告中写道，TurboQuant等效率提升技术可以减少运行AI模型所需的基础设施。如果模型能够在不损失性能的前提下，大幅降低记忆体需求，那么每次查询的服务成本将明显下降，进而提升AI的盈利能力。原本需要云端丛集的模型现在可以部署在当地的硬体上，有效降低了大规模部署AI的门槛。
Sandisk财务长威索索（Luis Visoso）在与美银证券（BofA Securities）分析师的对话中也谈到这一议题。威索索指出，TurboQuant可以提升超大规模资本支出的投资报酬率，而这种效率的提升，反过来又可能推动需求上升。
（彭博社资料照片）
TurboQuant的效率提升真正威胁是NAND快闪记忆体
分析师也很快意识到，并非所有记忆体市场领域都同样感到恐慌，TurboQuant的效率提升仅限于推论和键值快取，这代表真正的威胁来自NAND快闪记忆体，而非高频宽记忆体（HBM）。
HBM是辉达AI加速器的核心零件，也为微软（Microsoft）、Meta等公司的训练基础设施提供动力。彭博产业研究分析师希尔佛曼（Jake Silverman）撰文指出，由于需要将模型权重储存在GPU记忆体中，HBM的需求以及美光生产的DRAM需求可能不会受到影响，NAND的需求将面临更深远的长期影响。
大摩分析师表示，TurboQuant透过减少记忆体使用和数据传出，明显提升了推论效率，但他并没有降低对HBM等核心记忆体的需求。
韩媒也认为，该国两大记忆体厂商三星电子Samsung Electronics）和SK海力士（SK Hynix）预计将受惠于TurboQuant技术商业化。三星证券研究员表示，如果采用TurboQuant演算法，可以降低推论成本，需求将爆炸性成长。
