初创公司Taalas发布首款AI推理芯片HC1,峰值推理速度高达17000 token/s,超越Cerebras的20000 token/s(接近),远超英伟达Blackwell B200的350 token/s、SambaNova的900 token/s和Groq的600 token/s。
核心技术突破:采用模型直接刻在硅片上的激进方案,通过基于掩模ROM的调用架构将模型连同权重一起存储在芯片上,保留可编程SRAM用于保存微调权重(LoRA)和KV缓存。这种"芯片即模型"的设计省去了传统存算分离的成本,用灵活性换取极致速度和效率。
芯片规格:采用台积电N6工艺,面积815mm²,典型功耗250W,可直接使用常规空气冷却机架部署。支持Llama 3.1 8B模型,单颗芯片即可满足需求。
团队背景:公司成立于两年前,仅24名成员,由AMD前高管创立:AMD前集成电路设计总监Ljubiša Bajić、AMD/ATI/Altera前技术经理Leila Bajić、AMD前ASIC设计总监Drago Ignjatović。Ljubiša Bajić曾任Tenstorrent创始人兼首任CEO,后转任CTO。
成本优势:DeepSeek R1-671B多芯片方案(30颗HC1)处理速度达12000 token/s,每百万token成本7.6美分,不到同等吞吐量GPU方案的一半。
