• Liang

    各位佬,公司目前正在打算部署一个算力中心,主要场景是训练一些小模型和提炼数据集;

    有没有好性价比高的的部署方案哇?

    目前考虑的就是

    - Nvidia 游戏显卡多卡

    - MacStudio 串联

    - Nvidia spark gb10

    小白求各位实操过的佬给点建议 非常感谢 ^-^

    主楼
  • 大强

    两张H100吧.人少就1张,感觉够用了.

    #1
  • Liang

    补充一下^-^可能训练的场景比较多,推理的倒是不多

    #2
  • CyreneNight

    DGX Spark?

    如果是游戏显卡串联,估计游戏显卡得上90级别

    Mac串联有些不太正规

    好像只有经销商的DXG看起来圆润一点了

    #3
  • kk_C

    H100 现在得 30 左右,看你预算,还有业务场景

    #4
  • 大强

    所以推荐H100 因为显存够大.

    #5
  • kk_C

    训练什么 Yolo 还是什么东西,还是蒸馏

    #6
  • EntID

    mac串联稍微有点野,我熟络的几家公司的方案都是多卡,比较杂,下到5090上到h200,看公司体量

    spark这个就没接触过了,给佬友个参考

    #7
  • puppywang

    公司用就不要用这些也野路子了,没钱就H100/A100, 有钱就 B200/B300

    #8
  • 爱你们

    哥们,下次记得先说预算。。。要不都没办法推荐

    #9
  • waken

    用 rtx pro 6000d 方案试下?价格便宜点

    #10
  • Liang

    老板暂时没有指定预算上限,正在找一种性价比最高的方案,可以暂时当作预算拉满 ^-^

    #11
  • 黯绛

    训练还是上正经专业卡吧,佬友都是搞搞推理用点魔改卡啥的方案,软件折腾起来不比硬件花的少。

    #12
  • mxdlzg

    预算多少啊,而且你也没说清楚要推理多大的模型,训练多大的模型,并发是多少等等

    #13
  • 爱你们

    真的预算拉满,没必要推荐。直接b300

    #14
  • JackBlue

    训练就别使用这种野路子了,这些野路子只是在推理时好用,训练时这里却那里有问题的。

    #15

发表回复

登录后回复