• 智子

    以前新的开源模型升级 Nebius,cerebras,NVIDIA,Deepinfra,魔搭会部署并提供一定量免费额度。这次 Kimi K3 似乎找不到免费可用的平台。是因为推理成本太高吗?K3 虽然总参数很高,但极度稀疏,激活专家只有16个,按说推理成本不会太夸张。

    主楼
  • YeahSama

    开源协议问题吗?不是说盈利超过多少要签商业协议?还是怎么的。

    #1
  • calendar

    部署的性价比不是很高……价格这么高,也不太会有人用

    #2
  • LLMeme

    MoE的情况下也有104B的激活,成本降不下去吧

    #3
  • 爱琴炫彩

    完整部署不是要1700w-1900w人民币的设备吗。。。

    #4
  • xiaoling-linuxdo

    上哪去搞那么多H200,我记得得64张这是光部署,算上推理得多少啊

    #5
  • deepcake

    要签商业协议,还得跟Kimi分成吧,成本就上去了,

    Cerebras、Modelscope一直都没上过Kimi模型吧。

    #6
  • fengchris

    这么大参数部署的成本都不低 而且协议也变了

    #7
  • frangled

    Nvidia就算上,也没那么快,因为需要训练成nvfp4

    #8
  • sxjeru

    Modal 已经上线了,每月应该有30刀免费额度可用。

    #9
  • 朴实无华

    和激活无关,总参数太大了,即便节约计算资源,显存也是金子现在

    #10
  • 朴实无华

    没必要啊,本来原生MXFP4,改为NVFP4 很多麻烦,NV 也能跑MX。而且显存还会变大,不可能做NVFP4适配得,没这必要

    #11
  • windgo

    科大用四台昇腾部署了,用起来贼慢

    #12
  • EllieXM

    总感觉性价比没那么高,毕竟成本在那里

    #13

发表回复

登录后回复