knying242026-08-14
29932
准备自己部署一个deepseek flash，8*H100，主要是4个人用左右，低并发，准备在codex中用，大家有没有推荐的推理引擎，vllm或者sglang？这个预期的速度和官方api比如何呀
主楼
shengmingboai2026-08-14
8980
1、速度和效果肯定是不如官方的
2、如果不是内网数据要求完全没必要自部署
#1
knying242026-08-14
29932
官方checkpoint不是满血版吗
#2
浩尘2026-08-14
11681
速度肯定要很慢，效果大差不差了。
#3
森亚露露卡2026-08-14
12456
- 自部署效果会略微好于官方我有自部署跑过benchmark
- 你这个硬件配置太好了速度肯定是远大于官网的官网在100t/s左右
- vllm好像有bug response接口调用工具会出bug 现在我们用从chat接口代替
这个配置甚至可以卖api
#4
fcten2026-08-14
6172
4 个人配 8 x H100 吗，做什么这么挣钱 ^-^
应该很难用回本…但是速度一定是比官方API快的。官方API并发高，单个并发的吞吐并不高。
#5
Noor92026-08-14
10491
蹲一下，我们是麒麟系，也在考虑怎么部，但我们卡就没这么豪华了
#6
knying242026-08-14
29932
为什么需要回本，舒服就行了，这些卡还是有的
#7

登录后回复

自部署deepseek flash