英伟达斥资200亿美元牵手AI芯片公司Groq,旨在补上推理短板。Groq的LPU(语言处理单元)采用片上SRAM而非HBM显存,在推理decode阶段速度比GPU快100倍,单芯片可实现每秒300-500个token的吞吐量。
GPU在推理场景面临架构困境:prefill阶段适合并行计算,但decode阶段需串行生成token,GPU需频繁从HBM读取数据导致算力闲置。相比之下,LPU的片上SRAM无需数据搬运,能始终保持满负荷运转。
但LPU代价是内存容量极小(仅230MB),需数百颗芯片集群才能运行大模型,而GPU仅需2-4张卡即可部署70B参数模型。
英伟达此举是为了应对谷歌TPU等新芯片范式的威胁,通过收购Groq补齐低延迟推理能力,避免重蹈当年被其他竞争者颠覆的覆辙。
