[开源推广]降智?中转站掺水?缓存低?速度慢?我做出了可能是最全面的,优雅的vibe coding 灵动岛

本帖使用社区开源推广，符合推广要求。我申明并遵循社区要求的以下内容：

- 我的帖子已经打上 开源推广 标签： 是

- 我的开源项目完整开源，无未开源部分： 是

- 我的开源项目已链接认可 LINUX DO 社区： 是

- 我帖子内的项目介绍，AI生成、润色内容部分已截图发出： 是

- 以上选择我承诺是永久有效的，接受社区和佬友监督： 是

以下为项目介绍正文内容，AI生成、润色内容已使用截图方式发出

我想先看UI |
我要看怎么检测降智的 |

灵动岛、交互动效与详细窗口 |
模型核验、检测演示与各方案 |

其他 |
内容 |

功能概览 · Agent 支持 · |
下载与安装 · 费用与数据 |

最近O/由于算力紧张,对6 astra降智不断,坛内佬们纷纷寄出焚诀, 鹈鹕,鹈鹕+孙悟空,鹈鹕+糖果…然而这种任务型降智测试无法量化结果,且消耗token量大,耗时较长

而糖果,水桶等单问题测试是比较好的量化方式,但是他们只能测出测试当时的降智表现,而降智和掺水往往是前者算力紧张,账号风控和后者封号严重后的周期性的,主动行为,并不是持续表现

因此,也有 codex radar,靠谱哥排行榜,真探排行榜,price比价

等一系列中站持续性监测网站出现,然而他们算法不透明,且需要brok非本地请求,收录站点不多,宣传力度不大,查询需要用户二次检索,且容易被站点针对导致他们也并不是一种持续化的解决方案

那么有没有一种更好的方案呢,他能本地优先,持续检测,用户定制化,易于观察,美观,检测方案多样.

基于此,我做出了 Modivue，一个本地优先的 Vibe Coding 「灵动岛」。

[项目地址]

github.com

GitHub - systemoutprintlnhelloworld/Modivue: Local model verification, cache and latency...

Local model verification, cache and latency monitoring for coding agents — macOS, Windows and CLI

下载 Releases · 功能文档

目前提供 macOS Apple Silicon 和 Windows x64 预览版。

这干啥的？

软件将 最近1小时(可自定义)内系统内运行的支持的15种agents的配置文件中存在的 不同的 模型 × 渠道 × Key 分组 × 推理档位 作为一个运行检测项,并分开统计其各种指标。并以折线和圆环形式展现给用户(可以自定义展示的数量和取舍各种指标的展示)。

01｜灵动岛

为了能以美观丝滑的方式展现这些复杂的核验报告(好不好),并与首字到达时长(快不快),cache命中率(便宜不),模型余额(钱钱还有么)一起作为灵动岛状态栏形式呈现给大家

平时收起来，需要再展开

灵动岛存在silent,active,focus三种状态,鼠标悬停与否与当前是否存在活跃agent决定了其当前的状态

静默：无活跃 Agent |
静默：有活跃 Agent |
激活与展开 |

|
|
|

鼠标移动灵动岛会展开变成active模式，悬停到岛上每个agents环上展示其当前使用的模型的指标与趋势；移开后收回

感兴趣的点一下看详情,挡视野了拖一下到别处

定位到对应详情 |
拖拽与边缘吸附 |

|
|

focus专注界面中点击拓展窗口的感兴趣的曲线可以打开对应的统计窗口；灵动岛可以自由拖动，并自动吸附到屏幕左右边缘(还支持开关鼠标穿透)。

交互动效

Agent 状态

除了展示运行中驱动agent的各个模型的各个指标，灵动岛也会展示识别到的 Agent 会话状态并展示再拓展窗口中(等待输入,运行中,完成,还有个忘了)。

Agent 状态示例 |

|

|

灵动岛说明 · Agent 识别方式原理

02｜点开，展示详细窗口

灵动岛是入口,负责快速看provider状态；当用户需要看历史、比较渠道、检查核验依据时，再进入详细窗口。

详细窗口包含 概览与趋势 → 模型核验 → 费用与余额 → 可信参考与校准 → 设置,私人渠道排行榜等界面，可以切换查看,同时支持长按拖动tab和tab内组件改变顺序和排版。

吗的全是AI图,我要超市你 :angry_face_with_horns:

上图虽用AI演绎,但是UI都是丢实图出来的,主要是UI界面太长,长图不好排版,AI图又太好看,请原谅我捏喵~

概览 · 费用 · 设置

继续看模型核验 · 返回顶部导航

03｜模型核验：岛里结果随心看,详情还需见窗口

方案直达： 方案总表 · Meow · HLWY · 单问题 · 综合方案 · 其他方案

主窗口：核验过程 |
灵动岛：核验进度 |

|
|

模型核验

首先先说最重要模型核验,项目是如何检测降智的,软件收录了多种方案,每个方案都进行了适配,并将其量化显示到灵动岛中

方法 |
检查内容 |
来源或实现 |
基准要求 |

单问题测试 |
自定义题目与参考答案的匹配记录,内置糖果和水桶问题 |
evaluator-question.mjs |
已提供答案进行匹配 |

Meow 模型指向 |
短答案分布与候选基准的距离 |
meow-llm-detector，evaluator-meow.mjs |
内置5k+条各种模型的真实数据,可以自己增加和导入导出 |

HLWY 分布匹配 |
公共整数分布的众数、余弦和 JS 相似度 |
hlwy-ai-checker，evaluator-hlwy.mjs |
公共基准或可信 API |

KBF 知识边界 |
16 个历史模型的参考探针，CP99 / 单侧二项检验 |
Ooo0ption/KBF |
内置参考 |

One Token |
单 token 英文任务的分布差异 |
论文，evaluator-one-token.mjs |
适配英文 10 类任务 |

Astra |
论坛中五类任务的题目，还没全部把佬的题库搬来 |
社区原帖，实现 |
自采同条件参考 |

Juice |
收集模型报告的juice数值 |
需求参考帖，实现 |
参见链接给出的juice指纹对照表来看目前对应模型 |

BazaarLink Probe |
软件通过代理请求官方网站获得报告 |
Probe API |
官方提供 |

Ztest 官方检测 |
本地实现 |
Ztest，报告适配 |
第三方服务，人机验证由用户完成 |

本地多探针 |
通过五组简单请求，记录统计回答、失败及耗时 |
实现 |
不复刻 Ztest 私有探针或评分 |

自定义概率探针 |
自定义短答案分布的 JSD 比较 |
参考项目，实现 |
内置 |

meow方案

感谢 @heymeow 佬提供的5000份数据,及其项目 https://github.com/chen-006/meow-llm-detector和在线检测网站https://meowllm.top ,

在应用中我们也实现了其检测方案

其检测采样基于检测成本,我们开放了自定义单次采样样本量 少(6),中(35),多(50)

若存在未收录或新模型,大家可以自行使用始皇或or,anyrouter等可信站点等真实模型采样来完善这个检测

检测结果会回传到灵动岛,并以申报模型的匹配概率为得分

hlwy方案

同样的,我们也实现了 @hanlinwenyuan 佬的 GitHub - hanlinwenyuan/hlwy-ai-checker: 检查第三方AI API是否掺假以及渠道一致|基于llm指纹的AI模型识别 · GitHub 方案

方案同时支持使用内置基准和真实模型同时采样 两种核验的方式,后者是非常重要的方式,是唯一一个能区别到底是 中转站掺水 还是 官方降智 的方案

检测结果会回传到灵动岛,并以申报模型的匹配概率为得分

同样我们也支持通过采样补充内置基准

单问题方案

上面两种都是黑箱式检测方案,他们可能有效,但是并无可解释性,而目前的糖果和水杯测试可以可解释的展示当前模型的智力,是仍然为高智力模型,还是被路由到啦低智力模型,我们内置这两个问题,同样可以进行补充,

指的注意的是,由于测试速度快,这个方式我们以时间范围内的正确率作为得分回传到灵动岛,此外用户可以在路由 tab栏 私人渠道排行榜处获取各个时段下各个渠道的,各个分组下的不同模型的回答情况

综合方案

此外还有从模型指纹,api实现功能(pdf解析,远程压缩,识图,response等),模型能力等多维度分析的方案,我们这里也做了接入

并且对其官网的报告进行了可视化解析

其他方案

这里不做过多介绍了,大家可以在模型核验 tab 栏 自行选取和尝试

回看灵动岛与 UI · 下载与安装 · 返回顶部导航

04｜ Agent 工具支持情况支持情况

目前测试了codex,cc(前两款用的多,高强度进行了测试),pi,opencode这些主流agents上的效果,测试验证了其他11款agents的接入情况。

具体接入方式和后续变化以 Agent 文档 为准。

05｜下载与开始使用

在 Releases 页面 选择对应平台：

平台 |
安装方式 |

macOS Apple Silicon |
下载 Modivue-macos-arm64.zip，解压后把 Modivue.app 放入“应用程序”。但是目前没有 Intel Mac 构建。 |

Windows 10/11 x64（预览） |
下载 Modivue-windows-x64-setup.exe 安装，也提供便携 ZIP；需要 Microsoft Edge WebView2 Runtime。 |

预览版说明： 当前 macOS 包使用临时签名，；Windows 包尚未签名，部分原生交互和多 DPI 场景还没测试。人话,也是群U反馈,bug较多windows首次打开可能会遇到系统拦截，

费用和数据

数据保存在本机，API请求可能回产生费用。

费用统计 · 隐私

06 | 目前已知问题和roadmap

问题

- Windows版本目前无法正常读取配置导致无法正常工作,已经紧急修复完成,稍后推送

- 部分核验方式可能无法正常自动进行,如bazzar

- 部分进入预警中的指标记录可能无法统计到正常的指标曲线中

- 官方订阅的检测没进行测试,可能存在问题

- CPA反代目前很多指标检测不到,正在接入中

- win/mac安装过程受到OS不同程度的警告和拦截

路线

- CPA的5h,7d等额度窗口支持作为指标环展示再灵动岛和详细窗口中,以及重置额度显示

- 支持更多指标环,如token/request

- 增加win/Mac的签名

目前还是预览阶段，欢迎各位佬友试用，也欢迎反馈bug和分享产品体验。

项目仓库 · 下载 · 提交 Issue

衷心希望它能成为您的第一个平时不打扰、需要时看得明白的vibe coding小工具。

返回顶部导航