• cxuan

    DeepSeek-V4-pro 和 DeepSeek Harness 也发布几天了,一直没有测过效果到底如何。

    DeepSeek 正式宣布涨价了,就在涨价的时候测,不要怕不要怂,咱就是有钱,就是个夯。

    图片

    今天就来测一下。

    不过我先说清楚,这不是 benchmark,而是我拿几个真实任务做的体验测试。不同 case 的复杂度、上下文长度和工具调用都不一样,下面的判断只对这几次实际结果负责,不能直接当成模型排行榜。

    我用的是 DeepSeek-V4-pro 的 max effort 强度,用的是 standard mode。

    首先第一个例子就是先测一下鹈鹕的效果。```
    创建一个HTML,内容是SVG绘制一个鹈鹕骑自行车的2D动画。
    ```图片

    emmm,看起来这个鹈鹕有点抽象,因为鹈鹕的手没有扶着车把,而且鹈鹕的方位也错了。

    我给 Harness 装了一个识图插件,然后让他自己分析一下问题。

    它自己确实能发现手没有扶着车把的问题,但是它忽略了我觉得一眼就能看出来的问题,鹈鹕的方向错了。

    图片

    在我提醒它确实方向有问题后,它发现了这个问题并纠正,我做成了 gif 图给大家看一下。

    图片

    这个鹈鹕这么喜欢二八大杠么。。。而且这个鹈鹕下边的小手手是什么,纸糊的爪子吗,怎么还带拐弯的,而且为什么从下边伸了出来。。。

    这个测试测完了,我突然觉得肚子有点疼,然后我就去厕所蹲了个坑。

    (15 min later 。。。。。。)

    下面一个测试,是让 DeepSeek-V4-Pro 做个游戏。

    就是我之前做的 prompt war 这个游戏。

    先来看一下我之前做的效果。

    因为 L 站无法直接放视频,所以我这里直接截图了。

    图片

    相同提示词下,DeepSeek-V4-pro 的测试效果。

    图片

    这次可以看出,DeepSeek 对于审美来说,没有我之前做的效果好,但是流畅度,完整度,体验感来说还是不错。

    这次有个问题,就是缓存塔的效果其实是减速,不过我实际玩了一把,发现没有减速。


    下一个测试,我让 DeepSeek-V4-Pro 复刻一个苹果网站,想要看一下 DeepSeek-V4-Pro 和 DeepSeek Harness 的浏览器观察、视觉拆解、前端实现、滚动动画、响应式和自我验证能力。

    下面是 prompt :

    图片

    图片

    图片

    图片

    图片

    兄弟们,经过长时间的等待之后,大的来了。

    我这里直接给大家呈现截图了。

    给大家截几个图看一下。

    图片

    图片

    这是一次直接交付的,我没有做任何修改。

    图片

    (这特么 Cache hit 100% 是怎么做到的啊。。。)

    这个结果最让我意外的地方,恰恰是它和前面的鹈鹕形成了反差。

    鹈鹕看起来做的很简单,却很依赖空间关系、动作协调和视觉常识;

    虽然复刻 Apple 页面复杂得多,但参考对象明确,要求拆分的比较细腻,而且 Harness 可以通过浏览器不断观察和验证。

    至少从这几个 case 看,DeepSeek-V4-Pro 在约束明确、能反复验证的长链路工程任务里,发挥得比开放式视觉题更稳定。

    当然,三个 case 还不足以证明这是模型的普遍规律,但它能解释为什么前面让我觉得有点抽象,到了这个任务又突然让我有点改观了。

    真的,这个 AirPods 复刻的这个测试,确实让我对 DeepSeek Harness + DeepSeek-V4-Pro 改变了看法。

    我依稀记得 DeepSeek Harness 发布的时候我骂他骂的最狠。。。

    但是 DeepSeek 涨价这事儿,我仍然得骂。

    目前我还没测试其他模型对苹果官网的复刻效果,所以关于 DeepSeek 是否具备性价比这事儿,还不能下结论。

    不过贵是真的贵,差点给我干破产了。

    我仍然记得之前 DeepSeek-V4-Flash 的时候,一个亿 token 才要 4 块钱。现在 1 亿 2 千万 token ,直接干掉 43 块。。。

    图片

    这轮测试之后,我对 DeepSeek Harness + DeepSeek-V4-Pro 的判断是:

    它在需要浏览器观察、长链路执行和自我验证的复杂前端任务上,已经有了让我意外的一次性交付能力;但是在简单 SVG 动画这种依赖空间关系和动作协调的任务里,稳定性仍然不够。

    简单说,它不是单纯的强或者弱,而是强得有点不均匀。

    主楼
  • danielR

    前端提示词这么细的吗?我只会说,帮我做一个苹果官网 ^-^

    #1
  • Suhuanzhen

    我wsl+dsh+opencode v4flash+router standard 的鹈鹕

    图片

    #2
  • 行思渐远

    理论上就差个多模态就能跟顶级模型掰掰手腕了

    #3
  • cxuan

    这其实也是跟 AI 多轮对话的结果,一句话简单粗暴也能搞

    #4
  • cxuan

    笑死了,这鹈鹕怎么跟螃蟹似的啊,而且原地跑吗 ^-^ 这骑的是动感单车吧。

    #5
  • voidry

    图片

    gemini 3.7flahs 生成的

    #6
  • Kenzo

    咱就是有钱,就是个夯

    差点给我干破产了

    图片

    图片

    图片

    #7
  • hhhbx

    佬帮忙试试如果用vue写的前端。比如官方/页面能否被谷歌收录?

    #8
  • cxuan

    哈哈哈,主打用 DeepSeek-V4-Pro 的时候,我就是一个神经病

    #9
  • Suhuanzhen

    但第一次生成的svg静态图就是正常的,然后我让它改为动态的就这样了。

    #10
  • 陌上

    佬测评的很专业,我测评只有一个结果。就是贵 ^-^

    #11
  • danielR

    蛮好的,简单粗暴的 one shot 在真实环境和项目里体现不出来啥.

    #12
  • cxuan

    svg 静态图还是比较简单。动态和静态的难度还是不一样的。

    #13
  • cxuan

    贵是真的贵,一天 40 ,一个亿,还不如 gpt 20x 划算了。

    #14
  • Dingning

    vue是单页面应用,内容都是js动态填充的,可以用nuxt对seo友好一点

    #15
  • Masterbs

    涨价了,财力已经没办法测试了,昨天使用v4 pro 检索一个项目,10元没得,然后还欠费 ^-^

    #16
  • hhhbx

    对的,但是我的一个产品vue做一半了想起来这个问题了,就很麻烦

    #17
  • kinghe

    提示词太狠牛逼了,太专业了。学习学习

    #18
  • 11000

    佬可以拖拽部署一下

    图片

    cloudflare.com

    图片

    Cloudflare Drop

    Drop a folder or zip. See your site live on Cloudflare's global network in seconds.

    大家看看效果

    #19

发表回复

登录后回复