• SwiftUI

    测试了好几个场景 这里分别说下这两个模型的缺点,然后说为什么Gemini更拉(这两玩意优点就不说了 当然是都几乎不要钱还贼快)

    首先是Gemini 我做的是一个元数据系统(类似bangumi的),然后让他帮我导入一些内容和数据源,提示词明确要求了:

    浏览xxx(链接),帮我完整导入其中xxx作品及其关联的所有实体的信息(这里我是把类似截图里这些类型都放在同一层级然后用一个字段分类所以说是实体),除关系外还要确保资源正确导入存储展示

    然后Gemini就跑去干了

    回复与结果如图

    图片

    图片

    这个第二张图还是让他修复一次数据之后的,因为第一次他压根没导入关联实体,而是直接操作的数据库往第一次导入的结果(就是我给他那个链接对应的作品)的属性写了一堆关系,全关联到还没创建的项目导致所有页面打开全500

    我之前在规则写了从其他站点导入的数据自动设置来源链接做关联 比如

    图片

    结果打开一看关联的全是滚木 不是404就是连域名都不存在的

    而且3.8的前端UI只能说对标gpt5.4和5.5了 有过之而无不及的往ui里面塞垃圾 之前简洁美观的优势全没了 如图 这个页面本来不应该存在的 我本来的要求是

    数据的存储/下载放到单独站点,元数据站只展示元数据,并与下载站点关联 下载站点暂时规划中,只需要一个链接跳转过去即可

    然后就给我改成这样了 整整一个页面全是垃圾

    图片

    还有莫名其妙的自信 比如移植一个安卓内核的时候

    图片

    但实际上刚说完就发现wifi热点打不开

    然后就是经典的“你说的对”

    图片

    只给方案不干活 提示词是还是存在操作卡顿 对比下备份的原厂内核 采集性能信息并解决卡顿问题

    图片

    然后就是musespark1.3 这玩意视觉方面相比Gemini明显差不少,ocr识别文本歪四十五度就识别错了或者识别不到 前端虽然不会写一堆slogan但是审美不太行,不会布局元素

    agent方面 探索过程中喜欢重复很多遍需求 不知道是不是zcode的问题,但是接别的模型不这样(因为opencode里面的这玩意虽然是response api但是codex的一堆工具他都不支持所以要gui只能在opencode或者zcode里面用 用codex的话相当于只有shell能用了)

    图片

    理解能力和找问题的能力一般,可能换5.6sol两分钟就解决的问题他得测试好几次才能解决(比如之前说的移植内核的任务他会一直改源码和配置反复刷然后测试而不是进twrp去读取启动日志)

    非常神奇的发现不了同时有别的任务在跑,文件被改了就给操作撤回了 明明是完全不冲突的ui调整

    图片

    语言很雷霆 1.3相比1.2似乎大部分情况都好点但偶尔还是不讲人话 非常喜欢省略表达 比如

    图片

    图片

    图片

    图片

    然后就是执行小问题有点多 虽然没有删盘删库但是很影响执行效率 给人一种小模型的感觉 虽然这个速度应该也大不到哪去

    图片

    图片

    总结一下这两玩意相比规模大一点的模型(从价格和命名还有速度来说这两个应该都是500b以下的小模型)其实都不太行 虽然分数都很高但是相比测试结果差不多的grok4.6 5.6sol来说用起来非常难受

    从能用的角度来说1.3真的比3.8好很多,幻觉更小而且不会乱作要求以外的任务(当然最好不要让他自己设计或者重构架构),而且同样的前端调整提示词3.8修一遍没解决但是1.3是可以的 比如之前3.8调整ui的时候加进去的硬编码颜色和命名字段 让他自己移除还原还是剩了一大堆 换成1.3能全找出来

    图片

    然后之前gemini写的雷霆ui也都能全部解决 之前的导入问题也能给补全 总体体验是比3.8flash要好的

    主楼
  • ikb

    同感。简单总结一下,gemini幻觉高,muse眼睛瞎。

    #1
  • Qukiaa

    Gemini很会偷懒的有的时候还会自我发挥,musespark是傻乎乎的

    #2
  • SwiftUI

    省流下就是

    musespark虽然没跑分那么好用有点傻但是当flash模型还是能正常用的

    gemini在3.8感觉就是刷分刷废了 干啥任务都步骤爆炸而且幻觉拉满 并且学会了gpt5.4和5.5疯狂往前端塞垃圾塞提示词的问题

    #3
  • 114yiyis

    按你这样说,那和3.5时代一样,给我的感觉就是不管代码库里有什么东西,反正起来就照着自己的幻觉搞,然后代码库里就拉了一堆重复的东西

    不会询问人的意见,不会自己探索

    #4
  • SwiftUI

    我感觉 3.7 flash 还好 改 ui 写简单逻辑没啥问题 而且执行步骤短速度还快

    3.8虽然找问题的能力强了但是其他问题全出来了 一开始他帮我修好了一个3.7修不好的问题我还夸他 结果后面一写东西直接爆炸了

    #5
  • Hifumi_Mizuhara

    有可能RL练炸了,哎

    现在rl越来越重要了

    #6
  • coofee

    同感,不能用 3.8 Flash 干生产环境稍微难的东西,就算他的上下文多,也一样没用,速度快导致的结果就是,还没咋样呢,就给你答复说干完了。review 一下工作,干的稀烂,只完成了 30% 的程度。 还没试过 3.1 pro。有试过的么?可以说说效果。

    #7
  • Qukiaa

    Gemini通病了,就喜欢自己瞎琢磨胡搞 ^-^

    #8
  • Procyon

    安卓内核都敢让哈基米来写吗()

    #9
  • WWT

    3.8反而感觉有点开倒车

    昨晚我让他改一下前端 结果他改着改着不仅把一些功能改没了 甚至线都不接 完全变成了空白按钮^-^^-^

    #10
  • OpenAI_Q-Star

    难道这是muse spark 1.3 刷MRCRv2 ​​发挥作用?

    #11

发表回复

登录后回复