AI领域的新速度之王Samba-1 Turbo:每秒1084 个token

AI芯片厂商SambaNovaAI最新推出的AI芯片Samba-1Turbo表现出色,被称为AI领域的新速度之王。据外部机构Artificial Analysis独立测试结果显示,Samba-1Turbo在Llama3Instruct(8B)上的输出速度达到每秒1,084个token,创下了目前为止最快的记录。这一速度比MetaAI的Llama3Instruct(8B)API提供商的中位速度快8倍以上,甚至超越了之前推理速度最快的Groq。

Samba-1Turbo芯片是SambaNova的第四代设计,采用台积电的5nm工艺制造,具有支持更大模型的潜力,例如Llama3400B+。Artificial Analysis还验证了在Samba-1Turbo上运行的Llama3Instruct(8B)通过MMLU基准测试,质量得分与全FP16精度一致。

Samba-1Turbo的出现引发了业界的关注和讨论,被称为AI领域的新宠。该款AI芯片的性能表现令人惊叹,有望为人工智能应用带来全新的发展可能性。AI领域的竞争愈发激烈,Samba-1Turbo的问世必将为SambaNovaAI赢得更多市场份额。

SambaNova 目前尚未公开提供无服务器 API,但您可以通过他们的聊天界面试用他们的系统。

获取官方体验地址:https://top.aibase.com/tool/samba-1-turbo

返回顶部