lao1 me
搜索
首页/AI

Bonsai-2-27B:基于Qwen3.8 27B的究极量化几乎无损性能版

1419
  • fengchris
    fengchris2026-09-18
    6928

    图片

    官方博客：PrismML — Introducing Bonsai 2 27B: Near-Lossless Compression in a 9x Smaller Footprint

    图片

    权重：Bonsai-2 - a prism-ml Collection

    主楼
  • Eugene
    Eugene2026-09-18
    6155

    我去画个鹈鹕试一试，看起来大小还好

    #1
  • 咪叭
    咪叭2026-09-18
    6906

    怎么Agentic 和 Coding, 3.8 比 3.6 还低？

    #2
  • fengchris
    fengchris2026-09-18
    6928

    等佬友的测试 感觉8G就能跑起来了 不知道速度怎么样

    #3
  • v0ens
    v0ens2026-09-18
    32993

    Ternary-Bonsai-2-27B-PTQ1_0.gguf

    Q1_0 还能正常用吗？ ^-^

    PTQ1_0（密集三进制） 这好像不是我们平时理解的 Q1

    #4
  • AmeowCAT
    AmeowCAT2026-09-18
    10349

    之前Qwen3.6时候也是这家 量化到Q1说是有95%的性能 一直不知道是什么黑科技

    #5
  • vfx
    vfx2026-09-18
    5045

    可以的，unsloth以前就宣传用1bit写代码来着。不过尽量用2bit吧。

    #6
  • 8817
    88172026-09-18
    5001

    等个实测，看看到底有多猛

    #7
  • 咸鱼-linuxdo
    咸鱼-linuxdo2026-09-18
    24236

    这么小，可以本地部署玩了，不知道智商跟不跟得上

    #8
  • v0ens
    v0ens2026-09-18
    32993

    图片

    尝尝咸淡

    #9
  • Eic
    Eic2026-09-18
    9907

    大概率是吹的，上一代就拉完了。

    #10
  • 金陵雪
    金陵雪2026-09-18
    24539

    等个佬测试反馈，我是不信的，这些人的数据真的离谱

    #11
  • 行云
    行云2026-09-18
    32197

    等大佬测试，看看这个PQ2的效果如何

    #12
  • mendon
    mendon2026-09-18
    27322

    等大佬们的测试结果，看一下性能怎么样？

    #13
  • v0ens
    v0ens2026-09-18
    32993

    PTQ1:

    图片

    糖果问题雷霆大思考之后还是29

    #14
  • v0ens
    v0ens2026-09-18
    32993

    图片

    这也太能思考了吧… 等的着急

    #15
  • v0ens
    v0ens2026-09-18
    32993

    不知道是不是死循环了

    图片

    #16
  • xephyrin
    xephyrin2026-09-18
    8496

    急急急，速更，日不能寐，在写一千万token的 ^-^

    #17
  • aikooor
    aikooor2026-09-18
    21897

    这个跟qwen3.5-9b-6bits的官方量化版本哪个好一些…看起来显存基本都一样大

    #18
  • v0ens
    v0ens2026-09-18
    32993

    图片

    折磨人

    #19

发表回复

登录后回复