帖子

  • GPLer-linuxdo

    图片

    图片

    10 台 8 卡 5090,速度能到 20 token/s,还有很大的优化空间

    主楼
  • Lxn

    佬这个只需要整的挺灵性,我说白了

    #1
  • Elon1

    没有nvlink怎么完整用这么多5090

    #2
  • point

    只要有钞能力,每个人都能部署k3

    #3
  • 哆啦A梦

    直接租一台B300,除了部署k3还能部署一些其他的

    #4
  • GPLer-linuxdo

    没透露细节,简单的跨机互联 vllm+ray 就行,不过卡的数量不是 2 的 n 次不确定是否支持,我猜是自己写的程序,非专业人士看看就好,多机互联感觉不适合家用场景…

    #5
  • LuYu

    20 tok/s 岂不是刚好满足一个人的需求。可以专供老板啦

    #6
  • GPLer-linuxdo

    最便宜的正经商业方案好像是 AMD 的八卡 MI355X

    https://www.amd.com/en/developer/resources/technical-articles/2026/kimi-k3-on-amd-instinct-gpus.html

    #7
  • MarkLo

    这种方式搞到来不如去买token~~

    #8
  • renjianbucai

    那就是区区500万就能拥有本地Kimi了

    #9
  • 红牛兑娃哈哈

    可以跑通的推荐配置NVIDIA B300x8,成本大概3000万。。。。我的妈耶

    #10
  • random123

    显卡数量肯定不是问题,想当初挖矿的时候,别说显卡了,水电站都给你包了。就是看不到盈利模式,中转站一个比一个便宜,更别说还有那么多公益的

    #11
  • ww_37

    真的好便宜,再也不用买订阅了,妥妥被宰

    #12
  • tchcj

    我很好奇啊,如果公司自己花这么多钱部署了,那么这一个机器,能够多少个人用啊,每小时电费多少啊?

    #13

发表回复

登录后回复