• Hao-linuxdo

    本帖使用社区开源推广,符合推广要求。我申明并遵循社区要求的以下内容:

    - 我的帖子已经打上 开源推广 标签: 是

    - 我的开源项目完整开源,无未开源部分: 是

    - 我的开源项目已链接认可 LINUX DO 社区: 是

    - 我帖子内的项目介绍,AI生成、润色内容部分已截图发出: 是

    - 以上选择我承诺是永久有效的,接受社区和佬友监督: 是

    以下为项目介绍正文内容,AI生成、润色内容已使用截图方式发出


    鹈鹕骑自行车测试大模型降智挺好用的。但是手动测太麻烦,也不方便进行对比,于是做了个自动化脚本:让本地 agent 画一段 2D SVG 动画,自动渲染、打分。

    功能

    - 支持 Codex / Claude Code / OpenCode,可指定模型和推理强度

    - 自动渲染 SVG 动画,生成帧序列和 GIF

    - 多模态 LLM 盲评打分(0–100),统计 path 数、DOM 节点数、tokens、TPS

    用法```
    git clone https://github.com/haowang02/auto-pelican && cd auto-pelican
    cp .env.example .env # 配置评委 API
    uv run claude_pelican_eval.py -m opus -r high -n 3
    ```示例结果

    codex gpt-6-astra high

    图片

    80.3 分 |
    74.0分 |

    图片 |
    图片 |

    codex gpt-6-sol xhigh

    图片

    76.7 分 |
    69.3分 |

    图片 |
    图片 |

    codex gpt-6-luna xhigh

    图片

    65.3 分 |
    76.3分 |

    图片 |
    图片 |

    claude claude-opus-5.5 xhigh

    图片

    83.0 分 |
    79.7分 |

    图片 |
    图片 |

    codex deepseek-flash max

    图片

    75.7 分 |
    72.0分 |

    图片 |
    图片 |

    项目地址:

    github.com

    图片

    GitHub - haowang02/auto-pelican: 让本地 Codex / Claude Code / OpenCode 画「骑自行车的鹈鹕」SVG...

    让本地 Codex / Claude Code / OpenCode 画「骑自行车的鹈鹕」SVG 动画,并自动渲染评分

    欢迎跑跑自己常用的模型,晒晒结果。

    主楼
  • batu

    这打分感觉不太准啊,质量差的反而分数高。

    #1
  • Hao-linuxdo

    整体趋势上还是直观的,比如 astra 和 opus-5.5 就明显比别的模型好,分数也更高。

    deepseek-flash 视觉能力可能不太够,换成 gpt 或者 claude 打分应该会更有一致性。另外我打分求均值的次数比较少,可以把次数调高一点,让打分更稳定

    #2
  • freesit_H

    鹈鹕骑自行车测试大模型降智挺好用的。 ^-^

    #3

发表回复

登录后回复