AI芯片新创公司Groq最近以其语言处理单元（LPU）在AI领域取得了重大进展。Groq的LPU是专为大型语言模型（LLM）设计，采用Tensor-Streaming Processor（TSP）架构，展现了出色的性能指标，达到了750 TOPS（INT8）和188 TeraFLOPS（FP16），具备320×320融合点乘矩阵乘法和5,120个向量ALU。该公司的LPU在推理LLM方面超越了基于GPU的云服务提供商，成为NVIDIA、AMD和Intel等AI推理硬件市场的直接竞争者。

Groq的LPU在市场表现上也取得了令人瞩目的成绩。该公司宣布其LPU系统的推理性能为Llama-2 70B模型的两倍，每用户运行速度超过每秒240个tokens。Groq还展示了其LLM的低延迟性能，并将其硬件部署到阿贡国家实验室的ALCF AI测试床，为全球研究人员提供AI加速器访问。此外，Groq的LPU推理引擎在首个独立LLM基准测试中领先，超越了八大云服务提供商的关键性能指标。Groq通过Groq API提供Tokens-as-a-Service，为客户提供实验和生产的应用。 Groq在AI芯片领域取得的突破显示了其在AI硬件市场上的竞争实力和潜力。