• lintsinghua

    本帖使用社区开源推广,符合推广要求。我申明并遵循社区要求的以下内容:

    - 我的帖子已经打上 开源推广 标签: 是

    - 我的开源项目完整开源,无未开源部分: 是

    - 我的开源项目已链接认可 LINUX DO 社区: 是

    - 我帖子内的项目介绍,AI 生成、润色内容部分已截图发出: 是

    - 以上选择我承诺是永久有效的,接受社区和佬友监督: 是

    以下为项目介绍正文内容,AI 生成、润色内容已使用截图方式发出

    图片

    写在前面

    佬友们好,好久不见了好久不见了

    很高兴YuE2最近冲上Github Trending榜一了,现在也有了10k+ Stars

    图片

    YuE2 的 SongBench 均分也进入了 Suno v5 / v6、Mureka 9 这一档商业模型的区间

    图片

    这一点我们很开心,可以听一下我们模型的效果:

    Cover cases:

    晴天

    最炫民族风

    生成cases:

    Cyber Metal · English · 5:00

    今晚不眠 · Mandarin funk / nu-disco · 3:24

    Passion · English rock · 3:55

    但是原版流水线一次只能处理一首歌,模型在任务间反复加载卸载

    想让几个朋友同时在一张卡上玩或者想把 YuE2 接进自己的产品或工作流,并发调用等等,可能会被这一步卡住

    所以我们花了一段时间,今天开源了第一版推理加速方案 YuE2-Turbo

    同模型几乎无损前提下,快了多少

    没换模型,没改采样规格,权重 YuE2-3B,精度没变是 BF16,保持原 32 步 flow-matching,然后做了一些trick:

    - 自回归阶段给 vLLM 调度,多首歌的 AR 生成可以并行推进

    - MoT 和 VAE 全程常驻显存,不再在任务之间来回迁移

    - 非自回归的声学合成阶段支持了跨请求批处理

    - 上一批歌在做 NAR / VAE 解码的时候,下一批的 AR 可以提前开跑

    在一张 RTX 5090(32 GB)上实测:

    场景 |
    原版 YuE2 |
    YuE2-Turbo |
    加速 |

    单首歌 RTF |
    0.290 |
    0.173 |
    1.68× |

    4 路并发系统 RTF |
    0.317 |
    0.096 |
    3.31× |

    RTF 0.17 是什么感受呢

    一首一分钟多的歌,一张消费级卡,可以约 10 秒出结果

    并发场景下,一张卡的吞吐是原来的三倍多,而且对并发来说加速效果更显著

    YuE2 本来的那些"好玩的东西"没少

    YuE2 是一个白盒音乐模型。它生成歌曲之前可以先写出一份 ABC 乐谱,你能看到旋律和和弦,你可以随便DIY。比如你想把一首歌的和声改成爵士七和弦,只需要改乐谱里的和弦符号,旋律、节拍、速度、歌词一个都不动,再重新渲染一遍。

    想翻唱一段音乐,支持用 SheetSage2 把旋律转成 ABC,去掉和弦,交给 YuE2 用新的风格重新演绎。在 SHS100K 的 948 首作品上,YuE2 在没有任何翻唱专项微调的情况下做到了 71.3% 的 Hit@1。

    可以看看下面用《晴天》为例,Cover的能力:

    图片

    结果试听:

    晴天

    当然模型还支持很多音乐生成能力,Cover只是其中一项,欢迎大家探索出更多的玩法

    下面是YuE2-Turbo的Repo链接:

    github.com

    图片

    GitHub - NoizAI/YuE2-Turbo: Fast, concurrent inference for YuE2. Same model...

    Fast, concurrent inference for YuE2. Same model and recipe: 1.68× faster per song, 3.31× more songs per GPU.

    YuE2 Repo点这里

    一个模型活起来不是在榜单上,而是有人真的在用它写歌、改歌、和朋友一起玩

    希望 YuE2-Turbo 能让这件事变得容易一点

    **欢迎 Star & PR & issue & 多多与我讨论交流

    期待佬友们用YuE2做出来好听的音乐分享啊(抽象也行 ^-^)**

    主楼
  • 380kkm

    有个问题. 生成乐谱和生成乐曲这两个过程怎么理解

    如果只对乐谱有需求的话怎么操作?

    我之前有做过tts歌唱的二开.

    用了vov(日语声库唱中文,还做了不少设置…),

    但是苦于没有乐谱,试了试经典茉莉花之后就搁置了.

    如果能产出歌词+唱调的话就可以捡回来了.

    #1
  • lintsinghua

    乐谱现在是YuE2音乐结果生成过程中的中间产物,如果是自部署的话会在过程中生成.abc文件,然后可以渲染成乐谱。

    如果需要这个功能的话,我们可以在现有的体验网站上加一项这个功能,应该也很快。(体验是免费的,可以放心食用)

    图片

    yue.noizai.net

    Meet Yue2

    #2
  • moonlovenight

    来支持啦佬,可以指定风格和歌词生成吗?

    #3
  • lintsinghua

    可以的,就是通用的音乐模型的能力

    #4
  • promiseteh

    没想到本地就能生成 厉害厉害 试玩一下

    #5
  • lintsinghua

    是的,而且速度很顶 ^-^

    #6
  • 纸飞机

    有意思,这种感觉比单纯的抽卡增加了更多的可控性。生成五线谱这种中间产物能更方便看到修改点。

    #7
  • lintsinghua

    是的是的,何尝不能Astra/Fable写谱改编创作呢

    图片

    ,玩法更多了,可控性也更高了

    感觉自己DIY真的有意思

    #8
  • suntc

    纯音乐也可以嘛佬,最近在做游戏,想着搞点背景音乐

    #9
  • lintsinghua

    这个的话,我看有些佬友给我分享的trick是,可以通过prompt指定的

    比如提到instrumental之类的提示

    #10
  • moonlovenight

    ^-^,还可以顺便学习一下模型推理加速,膜拜

    #11
  • dabao1955

    这个10s是跟 ace step 1.5 那样再 a100 上测的?

    #12
  • lintsinghua

    在单卡5090上测的嘞

    #13
  • dabao1955

    那还行,全精度?

    #14
  • lintsinghua

    是BF16的

    #15
  • Novices

    只有5060 8gb,观摩一下。

    #16
  • lintsinghua

    量化一下也能跑

    #17

发表回复

登录后回复