Jay
2025.12.29
1 分钟阅读

英伟达斥资200亿美元牵手AI芯片公司Groq,旨在补上推理短板。Groq的LPU(语言处理单元)采用片上SRAM而非HBM显存,在推理decode阶段速度比GPU快100倍,单芯片可实现每秒300-500个token的吞吐量。

GPU在推理场景面临架构困境:prefill阶段适合并行计算,但decode阶段需串行生成token,GPU需频繁从HBM读取数据导致算力闲置。相比之下,LPU的片上SRAM无需数据搬运,能始终保持满负荷运转。

但LPU代价是内存容量极小(仅230MB),需数百颗芯片集群才能运行大模型,而GPU仅需2-4张卡即可部署70B参数模型。

英伟达此举是为了应对谷歌TPU等新芯片范式的威胁,通过收购Groq补齐低延迟推理能力,避免重蹈当年被其他竞争者颠覆的覆辙。

版权声明

本文为博主原创文章,遵循 CC BY-NC-SA 4.0 许可协议。 转载请注明出处:http://localhost/blogs/ai-daily-2025-12-29

分享这篇文章