AIスタートアップのCerebraは現地時間8月28日、世界最速のAI推論ソリューションと言われるCerebras Inferenceのローンチを発表した。

チャットボットやその他の AIGC アプリケーションの人気が高まるにつれて、推論サービスは AI コンピューティングの中で最も急速に成長している部分となり、クラウド全体のすべての AI ワークロードの約 40% を占めています。

Cerebra は、AI および HPC とそのワークロードで使用される強力なコンピューター チップのメーカーです。それによると、Cerebras Inference は Cerebras CS-3 システムとその Wafer Scale Engine 3 (WSE-3) AI プロセッサを使用しており、前者のメモリ帯域幅は NVIDIA H100 の 7,000 倍であり、後者のコア数は NVIDIA H100 の 7,000 倍です。これは、単一の NVIDIA H100 の 52 倍です。

同社はまた、「Cerebras Inference は、Llama 3.18B では 1 秒あたり 1,800 トークン、Llama 3.170B では 1 秒あたり 450 トークンを提供します。これは、Microsoft Azure などのハイパースケール クラウドにおける Nvidia の最新世代 Hopper GPU に基づくソリューションよりも 20 倍高速です。」

Cerebras Inference は、記録的なパフォーマンス、業界をリードする価格設定、オープン API アクセスにより、オープン LLM の開発と展開の新しい標準を確立します。 Cerebras の創設者兼 CEO の Andrew Feldman 氏は、この超高速 AI 推論が AI 導入に大きなチャンスをもたらすと信じています。

Cerebras 推論には次の 3 つのレベルがあることが理解されています。

• 無料利用枠では、無料の API アクセスと、すべてのログインに対する大幅な使用制限が提供されます。
• 開発者層は柔軟なサーバーレス展開向けに設計されており、OpenAI Chat Completions の API と完全に互換性のあるエンドポイントをユーザーに提供し、速度やコストを犠牲にすることなく次世代 AI アプリケーションを簡単に構築できるようにします。
• エンタープライズ層では、きめ細かく調整されたモデル、カスタマイズされたサービス レベル アグリーメント、専用のサポートが提供されます。企業は、継続的なワークロードに適した Cerebras が管理するプライベート クラウドまたは顧客施設を通じて Cerebras Inference にアクセスできます。

超高性能に加えて、このソリューションの価格は GPU クラウドよりもはるかに低く、Llama 3.1 8B モデルと 70B モデルの価格はそれぞれ 100 万トークンあたり 10 セントと 60 セントで、少なくとも 100 倍のパフォーマンスを提供できます。 AI ワークロードのパフォーマンスをコストに見合ったものにします。

Artificial Analysis の共同創設者兼 CEO である Micah Hill-Smith 氏は次のように述べています。「Cerebras は、Llama 3.18B および 70B AI モデルにおいて、GPU ベースのソリューションよりも 1 桁速い速度を実現します。 1 秒あたりに出力されるトークンの数は、新しいベンチマーク記録を樹立しました。」

Cerebras は、推論サービスに加えて、LangChain、LlamaIndex、Docker、Weights & Biases、AgentOps など、AI 開発を加速するために必要な専門ツールを顧客に提供するための多くの戦略的パートナーシップも発表しました。

それだけでなく、セレブラスは今月初めにIPO申請も提出しており、今年下半期には上場される予定だ。さらに、同社は最近、IBM、Intel、Telefonica の元幹部である Glenda Dorchak 氏と、VMware および Proofpoint の元最高財務責任者 Paul Auvil 氏の 2 人の新しい取締役を任命しました。

Cerebras は、AI コンピューティング分野のトレンドをリードするだけでなく、医療、エネルギー、政府、科学技術コンピューティング、金融サービスなどの複数の業界で重要な役割を果たしています。 Cerebras は、技術革新を継続的に進めることで、さまざまな分野の組織が AI の複雑な課題に対処できるよう支援しています。