lao1 me
搜索
主题回帖收藏
  • Eric
    clinepass也太慢了吧 20token/s 用的dsv4.1f热
    ![图片](https://cdn3.ldstatic.com/optimized/4X/a/6/3/a63098446eadca9876979452365c38472011ef68_2_690x381.jpeg) 本地部署的不快但胜在稳定不降智 ^-^
    Eric5天前AI13Eric
    AI
  • Efar
    请教大佬们企业自部署模型方案热
    ![图片](https://cdn3.ldstatic.com/optimized/4X/7/e/9/7e98480ca63e680195e183f72de05706cc691bb5_2_690x319.jpeg)
    Efar2026-10-14AI19Efar
    AI
  • Efar
    请教大佬们企业自部署模型方案热
    目前我自己部署在4台spark的deepseek v4.1flash 可以到做散文单流7～80tps 多流200＋tps 多并发单流会下降到30～40tps一流 上下文看需求可以调整目前我是600k上下文，权重量化程度对标官方混合量化，不是那种q1～q3的精度。(两台部署的glm5.3f exl3 fp4～fp8的 在单流40～60tps，多流应该有一百多) 这个方案适合小团队用
    Efar2026-10-14AI19Efar
    AI
  • Efar
    请教大佬们企业自部署模型方案热
    你了解下dgx spark和他的oem版本，这应该是一个选择，但是你要这么高并发得整不少了
    Efar2026-10-14AI19Efar
    AI