• TOT

    首先,你必须有一个会话命中过灰测。没有的佬可以睡了。。。

    效果: 所有用这个Test供应商的请求,发送出去的会话id和user id全部为灰测的。稳定命中灰测。

    弊端:同时只能跑一个Test供应商的会话,多了可能导致kvcache串。具体没测。

    不要质疑造假,成串成串的思考输出 + 段落尾部停顿 + v4p 25t/s的速度。

    铁一般的灰测

    简要解决办法,佬们可以自己研究。

    - 开启reqable抓包,打开dsh监听。

    - 在灰测会话里发送任意提示词,reqable抓该会话的这两个header的值。

    图片

    - 把两个值按下面的供应商模版填写到settings里。

    • 应该不需要重启dsh 就能用。```

    deepseek:
    {
    apiKeyEnv: DEEPSEEK_API_KEY,
    displayName: Test DeepSeek,
    baseURL: https://api.deepseek.com/v1,
    headers:
    {
    "x-deepseek-harness-user-id": "cfxxxxxxxxxxxxxx",
    "x-deepseek-harness-session-id": "session-xxxxxxxxxxxxxxxxx"
    },
    models:
    [
    {
    id: deepseek-v4-pro,
    reasoningEfforts: { off: null, low: low, high: high, max: max },
    compat: { thinkingFormat: deepseek, supportsReasoningEffort: true }
    },
    {
    id: deepseek-v4-flash,
    reasoningEfforts: { off: null, low: low, high: high, max: max },
    compat: { thinkingFormat: deepseek, supportsReasoningEffort: true }
    }
    ]
    },
    ```图片

    主楼
  • llliiilll

    看懂了,意思就是请求都打在这一台确定灰测的机器上

    #1
  • 不要吃太饱

    测了一个不复杂的前端,花了我六块多,不敢玩了

    #2
  • TOT

    ds官方应该是每个用户设置随机两个会话ID进灰测,并记录会话ID在Redis或其他缓存中。

    后续该会话ID的所有请求均会进入灰测推理集群,确保灰测时段内推理连续性。

    大概坠机的时间:

    - ds关了灰测

    - 缓存TTL自动清理(但不清楚有没有命中自动续期)

    - ds有别的机制控制灰测准入会话ID。

    #3
  • MuShang

    小难梁:阴死泥坝了,这都能找出来

    #4
  • Jerry2008

    怎么看进没进回测,用中文思考算吗?

    #5
  • TOT

    灰测特征是:首字输出相比正式版很慢,每段落输出后会卡一下,然后下一段落突然出一大段,接着继续段落尾部卡一下。

    #6
  • supermadmax

    昨天抽了很久一直没抽到,今天两次就抽到了,是大范围灰度了吗 ^-^

    #7
  • Qin_Mian

    这次好像是不仅范围大,而且时间长,我在b站看好久直播了,我自己这也在跑

    #8
  • DIAVE971

    跑了一个半小时修bug,跑了我30块,我不敢玩了,现在还倒欠梁叔叔一块多。

    #9
  • NukaColaM

    这样是不可以跑个分了?

    先抽出卡在保卡。

    #10
  • TOT

    不太好跑,现有的benchmark得改改

    #11
  • 爱你们

    是路由到fable吗?还是什么?

    #12
  • TOT

    99%概率非路由fable。

    fable没这么强。

    #13

发表回复

登录后回复