
以極致速度著稱的 AI 推理晶片方案,提供全球最快的 Token 生成速率。
前往官方網站Groq 是一家專注於 AI 推理(Inference)的硬體公司,其研發的 LPU Language Processing Unit 專為大型語言模型設計。Groq 能以每秒數百至上千 Token 的速度運行 Llama 3、Mixtral 等開源模型,解決了 AI 對話延遲的痛點,是構建即時 Real-time AI 應用的首選基礎設施。
即時推理
低延遲 API
LLM 部署
開發者 / 企業用戶
免費 / 付費
API 用量、硬體銷售
API, Cloud
Yes
鉅亨AI探索指南是什麼?
這是一個由鉅亨網打造的全球AI工具庫,為使用者提供包含理財分析、程式開發與創意生成的頂尖大模型導覽服務。