OrinX智能驾驶域控制的LLM+ComfyUI+源码+工作流AI辅助全自动部署包

本帖使用社区开源推广，符合推广要求。我申明并遵循社区要求的以下内容：

- 我的帖子已经打上 开源推广 标签： 是

- 我的开源项目完整开源，无未开源部分： 是

- 我的开源项目已链接认可 LINUX DO 社区： 是

- 我帖子内的项目介绍，AI生成、润色内容部分已截图发出： 是

- 以上选择我承诺是永久有效的，接受社区和佬友监督： 是

以下为项目介绍正文内容，AI生成、润色内容已使用截图方式发出

创时智驾 IECU 3.1 是一块智驾域控制器(主要有智己LS9和奥迪E5 2个版本),价格1000多块钱,拿来跑个35B MOE模型或者最近热门的JEV开源版速度还将就。原始的板子因为runtime版本过低跑不了ComfyUI,这个包魔改了运行时,Z-image和H3都可以跑,直接把它下载下来做为一个项目,让Codex或者CC去帮你部署即可.

github.com

GitHub - marswjf/drive-orin-ai-station: 把一块车规级智驾域控制器部署成完全离线运行的 AI 工作站

把一块车规级智驾域控制器部署成完全离线运行的 AI 工作站

它内置了一个WEB面板，可便捷切换Qwen3.6-35b-a3b/Qwen3.8-27b（带Qwen Embedding模型，单板可跑私有Rag )，ComfyUI生图环境，带全套源码、Skills工作流、部署包、运维面板源码和完整部署资料。skills可以自动分析接入的板子，如果成功进入ssh则可完成自动化部署。

这个设备的硬件与原始系统情况如下:

- NVIDIA DRIVE AGX Orin X

- 12 核 CPU

- 标称约 254T 算力

- 32GB 统一内存

- 128GB UFS 存储

- DRIVE OS 6.0.9

- Ubuntu 20.04 用户空间

- 支持以太网和 SSH 登录

- 原厂车机系统保留，可切回车机模式

本部署包已完成的主要优化：

- 本地大模型

板上已经部署两套大模型环境：

- 35B：Qwen3.6-35B-A3B，

支持 MTP+多模态同时在线，速度约 30～50 token/s

- 27B：Qwen3.8-27B，速度约 10～15 token/s

- 两套模型可以通过面板按需切换

针对 MTP 加速和多模态看图之间的冲突进行了专项调优，现在两套能力都可以稳定使用：

- MTP 对话模式（cpu多模态）

- 多模态看图模式（gpu多模态）

- 工具调用

- 128K 上下文

- Embedding 向量服务

- 相对llama.cpp直接部署提速20％

- 面板带thinking和nothinking2套推理端点适配不同需求（深度推理和指令跟随）

- ComfyUI 生图

原板子不兼容生图，已根据板上实际环境，编译专用运行时，这些都是魔改的，把很多高版本的能力编译进了低版本，解决了依赖问题：

- Python 3.13.15（魔改版）

- PyTorch 2.11.0（魔改版）

- torchvision 0.26.0

- torchaudio 2.11.0

- CUDA 12.2，Tegra / arm64 版本（魔改版）

- cuDNN 9.20

- OpenBLAS 0.3.29

- Flash Attention

经过多套运行时编译和实际测试，最终选定兼容性和速度最合适的版本。

本部署包优化后的实测效果：

- Z-Image，1024×1024，8 步连续出图：约 30.4 秒

- 相比上一代环境，实际吞吐提升约 40%

- ControlNet 双分支，512×512：约 21.3 秒

- 原来跑不动的 ControlNet 双分支，现在可以正常出图

- 首张出图约 82 秒，包含模型加载时间

- 中文运维面板情况如下

设计了一套中文运维面板，可以统一管理：

- 推理模式

- 生图模式

- 车机模式

- 大模型预设切换

- ComfyUI 服务

- 模型参数

- CPU、GPU、内存和温度

- 推理速度和生图耗时

- 服务日志

- 网络状态

三种主要模式按需切换，避免大模型、生图环境和车机系统同时占用大量内存。

四个 Skills的作用:

- board-discovery（陌生板卡发现与接入）

拿到一个新板后，自动尝试对接解码，解决新板不知道型号、MAC、IP、VLAN、端口和登录方式的问题。

- iecu（现有板子运维与二次开发）

用于换模型、调参数、看监控、排障、管理服务和继续开发。

- iecu-provision（新板基线部署）

把一块新板部署成完整的本地 AI 系统。

- comfyui-import（ComfyUI 工作流导入与适配）

用于检查缺失节点和模型、替换量化模型、适配工作流并验证真实出图。