模型介紹

Groq 是一家專注於 AI 推理（Inference）的硬體公司，其研發的 LPU Language Processing Unit 專為大型語言模型設計。Groq 能以每秒數百至上千 Token 的速度運行 Llama 3、Mixtral 等開源模型，解決了 AI 對話延遲的痛點，是構建即時 Real-time AI 應用的首選基礎設施。