• xxx

    比如说我想支持5个pdf并发识别,大概要多大的配置?

    主楼
  • 荔枝王

    一张 4090 显卡足够 。直部署24G显存会占 10G 左右的样子。

    并发没问题,部署时你要自己配置。mineru的 api 好像没提供并发设置。

    新路由不知道 ,我用的 fastapi 那一版

    #1
  • hallowe

    我21年的天选1笔记本部署了一个,识别一个200多页pdf还是有点慢的

    #2
  • xxx

    正常情况,我在代码层也不会让它去识别200页的pdf。主要是客户那边需要我报最低配置

    #3
  • xxx

    但是我没试过并发的mineru是怎么个情况

    #4
  • annacomnena

    我用了一个4070ti,并发没问题的。

    它使用vllm 推理一个小尺寸模型,完全没问题的。

    #5

发表回复

登录后回复