• 🐟

    图片

    cerebras.ai

    图片

    Introducing Cerebras CS-4: The Fastest AI Gets Faster

    Cerebras CS-4 delivers up to 30x faster AI inference than GPUs, with a modular rack-scale architecture built for hyperscale AI deployment.

    [!quote]+

    今天,我们隆重推出第四代 Cerebras 系统:CS-4。它是业界速度最快的 AI 加速器,也是前沿 AI 的全新基石。CS-4 由三颗全新的晶圆级 Engine 3 Turbo 处理器构成,将更强大的处理器与全新设计的机架和系统完美结合。其推理速度比 GPU 系统快 30 倍,经济效益更佳,并可轻松部署超大规模容量。

    CS-4 的设计理念很简单:人工智能基础设施的下一次飞跃不能仅仅依靠改进某个单一组件来实现。计算、电力、冷却和 I/O 必须协同发展。最终打造出的系统旨在快速生成用于高度交互式体验的令牌,同时满足大型运营商所需的令牌总容量。

    图片

    图片

    图片

    主楼
  • ikb

    gpt astra要是能上这玩意要求开1000刀会员也得订啊。

    #1
  • 🐟

    应该没这么快?

    你看 sol 系列经历了好些时候才上……

    #2
  • ikb

    又看了一下规格,3*44GB,没戏了,能部署个luna就了不起了 ^-^

    #3
  • Mozi

    现实中SOL都已经部署完了

    而且这个芯片并不是把所有的权重就都加到晶圆上

    #4
  • 🐟

    图片

    5.6 sol 的速度如上……

    诶,等一下,是不是可以差不多才出来 5.4 / 5.6 sol 的激活参数大小

    #5
  • apparition

    我其实比较好奇为什么能将内存和 I/O 速度翻倍

    #6
  • ba_lao

    真的跟K2.7参数差不多啊。

    那说明OpenAI还是很强了

    #7
  • 板栗君

    KIMI和GLM两个都是激活32B

    那看起来GPT5.4大概~27B,sol更小,~25B ?

    #8
  • 🐟

    前提是架构,infra优化等级一致吧

    速度和激活参数也许不是线性的说是

    什么gamma 4-31b 比 oss 120b还慢

    #9
  • OpenAI_Q-Star

    在估计参数量前

    应该考虑众多模型是否使用同样量化

    FP4-FP16/BF16

    NVFP4/MVFP4(还有什么量化?)

    量化后的有没有硬件加速器

    GPT 5 不是在老黄ppt 曾暗示是2T MoE?

    看图估计Sol 有3T

    这个CS-4 速度是否能在1M上下文时持续?

    #10
  • apparition

    事实上看不出来

    我记得 4.7 当初 CS-3 就这个数据了

    很大程度还是看效益调整速度

    大芯片好贵好贵 ^-^

    #11
  • ba_lao

    什么 gamma 4-31b 比 oss 120b 还慢

    难道你不知道gamma 4 跑了两个神经网络吗?这个东西本来就会拖累速度。

    #12
  • deepcake

    那看起来不快啊,Gemma4跟Gptoss120b的API平日都在500TPS左右而已,好一点能到1000TPS,而1500TPS以上只在传说之中见都没见过。

    #13
  • mi_tu

    我去要是能用上两天能搓个可上架的app了,大diy时代的基石终于来了吗

    #14
  • 🐟

    cs-4 没上 free 吧

    图片

    cerebras.ai

    图片

    Inference - Cerebras

    Cerebras inference - the fastest inference API for generative AI

    这里还挂着 1000 tps 的 glm 4.7 来着

    图片

    cs-3 给的数据是 2308 tps gpt oss

    图片

    #15
  • koubibulaien

    这咋猜呀?GLM是300b,Kimi是1T 他俩速度差不多

    #16
  • 🐟

    因为这两个模型的激活参数都是 32B……

    图片

    #17

发表回复

登录后回复