• 小诗音

    在我日常使用Claude的过程中,我发现Opus等模型在细节实施的过程中表现经常不太好,但是整体的规划能力还是比较出色的。

    于是我尝试了让Claude在一个任务需要具体编码的时候,利用各种harness cli的非交互模式来负责具体的实施。

    也就是Opus 5/Fable 5做整体的分析、规划,一些更快、更小的模型来负责具体的编码、测试等,既节省了成本,又让整体的质量得到了保证。

    但是,各个模型在和Claude模型配合的时候,质量、速度表现差距是比较大的,于是我用我们线上仓库创建了多个worktree,选用线上一个真实存在的issue和Opus的分析作为输入,由各个模型自己分析实现方案,再用review的结果作为验收标准,与此同时,会有opus-5和gpt-5.6-sol-max两个模型的实现作为对照。

    目前仅列出我实际尝试过的几个模型

    一、速度表现

    模型 |
    修复耗时 |
    文件 |
    +/- |
    输出 token |

    composer-2.5 |
    454.9s |
    7 |
    +352/-118 |
    23660 |

    grok-4.6-medium |
    803.7s |
    13 |
    +301/-21 |
    45032 |

    gemini-3.7-flash-high |
    994.0s |
    7 |
    +300/-26 |
    64366 |

    gpt-5.6-luna-max |
    1326.5s |
    6 |
    +415/-152 |
    21269 |

    opus-5-max |
    1199.7s |
    13 |
    +1693/-42 |
    - |

    gpt-5.6-sol-max |
    2700s+ |
    23 |
    +1551/-31 |
    - |

    值得注意的是,耗时最长的luna的输出token反而是四个里最少的(21269),这也和用下来的实际感受接近,luna会花费大量的时间在生成以外的工作上,如果各位佬用上下文不够长的编程问题测试luna,会发现luna的表现很不错,属于是又快又好,但是在实际工作过程中使用luna,就会体验到什么叫又香又臭。

    Sol,这位更是重量级,从一个issue描述开始无限发散,一个任务跑了2700s+还在继续发散,直接给我15$的cursor三方模型额度跑光了,只能说还好我的cursor只花了2$订阅了一个月,否则我还不得心疼死,显然,Sol是不适合作为一个协作模型的。

    二、质量表现

    模型 |
    修复耗时 |
    findings |
    缺陷性质 |

    composer-2.5 |
    454.9s |
    11 |
    状态机死锁,4个同根因;健康请求误判 |

    cursor-grok-4.6-medium |
    803.7s |
    12 |
    3个死机制 + security + 无用轮询 |

    gemini-3.7-flash-high |
    994.0s |
    13 |
    死分类器 + 2处引用不存在的东西 |

    gpt-5.6-luna-max |
    1326.5s |
    7 |
    跨数据串扰;无死机制 |

    opus-5-max |
    1199.7s |
    6 |
    状态恢复缺口×3 + 阈值窗口错 + 1个死机制 |

    gpt-5.6-sol-max |
    2700s+ |
    5 |
    无鉴权探测 + SSE热路径开销 + 丢用户输入;无死机制 |

    结构性陷阱 |
    **composer
    2.5** |
    **grok
    4.6-med** |
    **gemini
    3.7-flash** |
    **luna
    max** |
    Opus 5 |
    sol max(中断) |

    阈值套在错误的时间窗口
    headers/TTFT 当成 body,健康请求误判 |
    1 |
    1 |
    1 |
    — |
    1 |
    1 |

    失败状态没有恢复路径
    进得去出不来,标志位无人清除 |
    2 |
    1 |
    1 |
    1 |
    3 |
    — |

    阻止发送时丢用户输入
    已清空 composer,守卫才拒绝 |
    1 |
    1 |
    — |
    1 |
    — |
    1 |

    写了但永远不会触发的死机制
    条件恒真/恒假,标志位无人读 |
    — |
    3 |
    1 |
    — |
    1 |
    — |

    四类中踩中 |
    3 |
    4 |
    3 |
    2 |
    3 |
    2 |

    质量来说这四个模型的实现都是有问题的,整体来看luna的表现最好,甚至我认为实现质量是高于Opus 5自己实现的。我最看好的哈基米此处给到拉完了,我好久没有看到能给我编几个接口的模型了,Sol确实牛逼,即便是中断了,新引入了一大堆的机制后,review出来的问题都是最少的,但是这个无限发散的修改在项目里实际上是不OK的。

    总的来说,要效率选composer-2.5,要质量选gpt-5.6-luna-max,顺便这个结果也告诉了各位佬友,目前的模型,即便是Opus 5,5.6 Sol,输出的代码也并不能一次性解决线上的问题,甚至如果没有人主动干预的话,问题还会变得越来越糟糕,仅依赖vibe coding,会导致整个项目越来越难以维护,也许coding已经死了,但是engineering还活着。

    主楼
  • mimei

    sol一直都很喜欢小事情干半天,luna确实是讲半天不理解。如果是opus规划,composer实现这种分开的方法是不是会更好

    #1
  • 小诗音

    实际上上面有opus+composer的测试,composer的质量说不上好,但是你就看他快不快就完事了。

    #2
  • imBoyka

    那我试试 主力模型 gpt-5.6-sol-xhigh 执行模型 gpt-5.6-luna-max 看看效果如何

    #3
  • 点点点…点娘!

    居然没有 4f 吗

    个人感觉是最好的执行模型

    推特上的老外也时常看到推荐

    #4
  • user1368

    佬有对比或grok4.6-xhigh对比gpt5.6luna-max吗

    #5

发表回复

登录后回复