• fpy5627

    最近做了一个 AI Lip Sync 网站:

    https://lipsync.vip

    主要想解决一个比较直接的需求:

    给一张人物、宠物或者其他角色图片,配上音频,让图片里的角色根据语音生成自然的嘴型同步效果。

    之前自己测试类似产品的时候,发现几个比较影响体验的问题:

    - 嘴型和声音容易对不上

    - 生成过程中人物会莫名转头、表情变化太大

    - 中文、英文等不同语音下效果差异比较明显

    - 很多工具上传完素材之后,操作流程比较复杂

    - 想快速做一个短视频 Demo ,往往还要来回调很多次

    所以这次做 lipsync.vip 的时候,我比较希望它保持简单:

    上传素材 → 添加音频 → 生成 Lip Sync 视频

    目前也做了一些可以直接测试的示例素材,包括:

    - Social Media Creator

    - UGC / Lifestyle

    - Podcast / YouTube

    - Music / Singing

    - 宠物

    - Vintage / Old Photo

    这样没有现成图片的时候,也可以直接选择素材测试效果。

    我自己目前比较关注的几个方向是:

    - 嘴型同步是否自然

    - 生成过程中头部尽量保持稳定,不要乱转头

    - 嘴巴、下巴区域不要出现明显变形

    - 短视频生成速度和成功率

    - 尽量降低第一次使用的操作门槛

    网站现在还在持续调整,尤其是模型效果、素材库和交互体验。

    如果大家平时会用到:

    - Talking Photo

    - AI 数字人

    - AI Podcast

    - AI UGC

    - Meme / 宠物说话

    - 老照片开口说话

    - AI 视频内容制作

    欢迎帮我测试一下。

    地址:

    https://lipsync.vip

    如果遇到生成失败、嘴型奇怪、人物乱动,或者觉得哪个操作步骤比较反人类,也欢迎直接告诉我。

    相比单纯说“挺好用”,我其实更想知道:

    你第一次打开网站时,有没有哪里让你不知道下一步该干什么?

    这类反馈对我帮助会比较大。

    感谢 🙏

    主楼
  • fantasybei

    还不错,哥,lip sync 用的啥模型啊。

    #1
  • panxi

    相比于 https://github.com/duixcom/Duix-Avatar 开源的这个优势在哪里呢,是 512 的吗, 大佬? 目前市面上开源的 lip sync 太多了, 但是大部分都需要做调优,你这个能平衡质量和效率, 并且解决了牙齿部分的问题吗?

    #2

发表回复

登录后回复