比如说我想支持5个pdf并发识别,大概要多大的配置?
一张 4090 显卡足够 。直部署24G显存会占 10G 左右的样子。
并发没问题,部署时你要自己配置。mineru的 api 好像没提供并发设置。
新路由不知道 ,我用的 fastapi 那一版
我21年的天选1笔记本部署了一个,识别一个200多页pdf还是有点慢的
正常情况,我在代码层也不会让它去识别200页的pdf。主要是客户那边需要我报最低配置
但是我没试过并发的mineru是怎么个情况
我用了一个4070ti,并发没问题的。
它使用vllm 推理一个小尺寸模型,完全没问题的。