• lintsinghua

    本帖使用社区开源推广,符合推广要求。我申明并遵循社区要求的以下内容:

    - 我的帖子已经打上 开源推广 标签: 是

    - 我的开源项目完整开源,无未开源部分: 是

    - 我的开源项目已链接认可 LINUX DO 社区: 是

    - 我帖子内的项目介绍,AI生成、润色内容部分已截图发出: 是

    - 以上选择我承诺是永久有效的,接受社区和佬友监督: 是

    以下为项目介绍正文内容,AI生成、润色内容已使用截图方式发出


    Skills 仓库:

    github.com

    图片

    GitHub - lintsinghua/paint-mv-skills: Agent skills that turn a song and its lyrics into...

    Agent skills that turn a song and its lyrics into a hand-painted watercolour music video (p5.brush + headless Chrome + ffmpeg), following PDoomVideo's pipeline

    先看下效果。下面这个 MV 视频是 opus5.5 从零做出来的,然后只用了一轮交互:

    图片

    ^-^ 效果视频看这里:https://github.com/user-attachments/assets/8e291eb1-0761-4abd-b2c0-7ef165dc343a

    缘起

    opus5.5 刚出,推和 xhs 上全是 opus5.5 视频能力刷屏,然后有个很火的帖子不知道佬友们有没有关注到,就是 claude 那个吉祥物的画风视频,然后作者也是把源码开源出来的,用 p5.js ,成片很惊艳,但是换一首歌不好复刻

    所以我把源码让 AI 分析了下,把这个画风的视频做了一套通用的 MV 制作 skills:

    输入:音频文件和歌词

    输出:MV 视频文件

    画风和原作保持基本一致,但是角色、场景和剧情每首歌都根据歌词重新设计过

    演示这首歌做了什么

    测试用的是一首 86 秒的中文说唱《凌晨录音室》,歌是用 YuE2 生成的,歌词是新写的。Agent 读完歌词定下的构思是:

    图片

    角色是从歌词设计的:

    图片

    图片

    图片

    分镜、角色代码和五个章节的源码都在 demo/project/ 里,感兴趣的佬友可以看看,然后也可以复现

    四个 skill

    图片

    然后整个 skills 的大概流程:

    图片

    这支演示片 2079 帧,在 M 系 Mac 上开 6 个 worker,大约 15 分钟渲完。

    局限性

    - 很费 token。 五章并行,一个一分半的 MV 跑下来,200 刀的 cursor 帐号掉了 20% 的额度,但是额度比较宽裕的佬可以试下,效果确实还不错

    - 用的模型是 opus 5.5,其他的模型不知道效果怎么样,然后视频是 opus 5.5 是直出的效果

    佬们可以拿自己喜欢的歌试试,做出来的片子可以贴一下

    觉得有意思的话给个 Star 哇感激 ^-^:

    github.com

    图片

    GitHub - lintsinghua/paint-mv-skills: Agent skills that turn a song and its lyrics into...

    Agent skills that turn a song and its lyrics into a hand-painted watercolour music video (p5.brush + headless Chrome + ffmpeg), following PDoomVideo's pipeline

    主楼
  • Eic

    很费 token。 五章并行,一个一分半的 MV 跑下来,200 刀的 cursor 帐号掉了 20% 的额度

    按这个来计算,max20周限额估计只掉1-2%多点

    #1
  • lintsinghua

    窝趣了,官方的套餐就是耐薅啊

    #2
  • 栗子

    这个画风好卡通吧

    #3
  • lintsinghua

    是,手绘画风

    #4

发表回复

登录后回复