- 又是疲惫的一天3天前
各位佬，公司有一批闲置服务器，想拿来部署一些生图、生视频模型，接到 New API 里，对 C 端做付费服务，暂时不考虑 LLM。
LLM 这块有 vLLM、SGLang，模型服务跑起来之后，接 New API 比较方便。想问下生图、生视频有没有类似的方案，最好不用自己再写一套接口、队列和任务查询。
刚搜到 SGLang Diffusion 和 vLLM-Omni，另外就是 ComfyUI，现在有点纠结。
个人玩的话，我可能直接选 ComfyUI 了，模型和工作流也比较丰富。但公司拿来做多人使用的付费服务，不知道哪种方案更省心，主要关心部署维护、并发和后续扩容。
有佬实际用过 SGLang Diffusion 或 vLLM-Omni 吗？部署起来方不方便？它们提供的接口能直接接 New API，还是得自己再写适配器？和 ComfyUI 相比，更推荐走哪条路线？
主楼 - xunny3天前
佬 你服务器啥配置啊。肯定做生视频啊
- HeriX3天前
只用过 ComfyUI, 他也是提供对外的API接口的, 也不需要开着网页
- testrome3天前
蹲一下解决方案我也很好奇有没有比较好的方案
- 老火面3天前
现在开源生图生视频都是用comfyui了，另外两个几乎没人用了吧。
你可以考虑走两种路线，一个是纯出租GPU，类似优云智算，你们提供已经部署好comfyui的镜像，用户开机直接拉取镜像就能马上使用，按开机时间收费;一种是在线使用comfyui，类似runninghub，用户开箱即用，按工作流实际运行时间收费。
只要价格比他们有优势就有搞头。