请教大佬们企业自部署模型方案
3719
- Efar2026-10-14
如题，公司内部有些数据比较敏感，并不是纯粹的代码、身份信息等那些数据。但领导想要在日常工作中引入AI，进行提效，比如可以用AI整理数据报表，分析结果等。
目前使用的是官方deepseek api渠道，但还是有些顾虑，担心数据被蒸馏泄露啥的。
所以想要自部署模型，大概400多人使用（不是400并发），由于自己缺乏这方面的经验，前来求经验方案。
我们目前的场景是用自研的agent，接入AI，然后去操作我们内部的管理后台数据
主楼 - xufengzhu9832026-10-14
坐等大佬的部署方案，我也有类似的需求，先占个座，来学习一下。
- 老文2026-10-14
400个人那么至少并发是40，设备，预算多少？？
- Efar2026-10-14
- 北辰Glasden2026-10-14
400人, 按峰值50人同时用的话(实际感觉不止), 每个人少说20tps吧, 这个感觉不是拍脑袋就能部署下来的规模啊
- 老文2026-10-14
你去找一些卖算力一体机的，如果你们用ds的api，那么就按照ds 4.1 flash 的API 来算，至少40 并发，50 token /s
- Grogu2026-10-14
需要先给个预算，现在 RTX6000 大幅涨价，已经不具备性价比了，预算充足可以考虑 GB300
- JARK0062026-10-14
得看预算，少数人使用时，我感觉目前性价比最高就是 strata 跑 qwen3.8-flash-next，虽然模型能力不算顶尖
- Efar2026-10-14
大佬，如果用mac mini去部署的话，成本是不是会更高
- Grogu2026-10-14
不会，只是性能更低，不适合作为服务使用
- leaderlemon2026-10-14
你了解下dgx spark和他的oem版本，这应该是一个选择，但是你要这么高并发得整不少了
- youngman2026-10-14
整个循序渐进的方案嘛，先按最小使用人数使用起来，部署起来。或者第一步哪怕是先跑起来自己用呢，浏览 300+ 本地推理 AI 模型 | Will It Run AI 找个模型点进去可以看到部署要求，后面人多了就开堆算力堆硬件呗
- mjjs2026-10-14
先有专人脱敏吧 维护一个400人使用的，更麻烦吧
- imdingji2026-10-14
关注一下，但是这个需求，400人，要求不低吧，尤其是上下文一长的话对配置要求更高，感觉要百万级的设备
- 天梦2026-10-14
你公司这规模，就算400人里只有100人同时用，能撑得起这个算力的卡也很少啊^-^多卡组么？怕是预算要的不低
- Rayn_V2026-10-14
- leaderlemon2026-10-14
目前我自己部署在4台spark的deepseek v4.1flash 可以到做散文单流7～80tps 多流200＋tps 多并发单流会下降到30～40tps一流 上下文看需求可以调整目前我是600k上下文，权重量化程度对标官方混合量化，不是那种q1～q3的精度。(两台部署的glm5.3f exl3 fp4～fp8的 在单流40～60tps，多流应该有一百多)
这个方案适合小团队用
- leaderlemon2026-10-14
- coho2026-10-14
- Efar2026-10-14
以查询为主，就是比如要查询一些合作商信息、一些合同协议内容等等敏感数据，走的是页面接口，但需要让ai去分析数据，比如哪个合作商合作期限快到了
