• 🛡️Rice_R._Rug_💛🍋⭐️💫

    图片

    刚刷到的一个帖子

    不同的设备的输出速度对比

    图片

    主楼
  • xquan

    我试了4090大概是64.5 tok/sn

    #1
  • 🛡️Rice_R._Rug_💛🍋⭐️💫

    大模型的能力,体感上,有很强吗?

    #2
  • jxxxxi

    我的4090使用llamacpp不加载mmproj速度79.78 t/s

    #3
  • xquan

    还可以,有准确的prompt下效果挺不错的

    #4
  • 皮卡克利波

    4090这一类上下文能达到多少 有128k么

    #5
  • xquan

    我的是可以跑满完整256K

    图片

    图片

    #6
  • 皮卡克利波

    我了个去,你是两张…肯定可以跑256啊 ^-^

    #7
  • wushi-linuxdo

    佬友,你这套配置说个价格,让我死心 ^-^

    #8

发表回复

登录后回复