• 離珠

    就是手机放电影时,提前提取对应时间轴,然后实时预加载未来几秒内的画面,同时调flash模型或者API完成翻译(这个我没啥思路,像mimo-2.6这种全模态应该做不到秒处理吧)。

    我要实现的效果就是类似B站那种AI字幕,在人物讲话之前,字幕就先出来了。

    现在手机自带的翻译是实时翻译,人物话都快讲完了,字幕才慢慢出,很出戏。

    主楼
  • 枫子张

    那意思是不是,再套一层壳?延后播放就行了?

    #1
  • RzMY

    如果是本地文件,可以不强求实时翻译,提前翻译完就行了。B站字幕也是这么做的。

    #2
  • Biubiubu

    翻译为什么需要加载画面,提取音轨不是更快一些?用 AI 不如用 ASR 吧,已经很成熟了

    #3
  • RavelloH

    图片

    图片

    不少播放器都支持吧,会提前获取音频,本地转录,然后调用大模型翻译,实测正常观看的话是实时的,如果拖动进度条需要等几秒

    #4
  • 離珠

    有道理,vibe一个APP,在里面它自己先过一遍,提取时间轴,然后输出字幕文件,然后我回mx player里再加载字幕,应该可行的。

    #5
  • 離珠

    看动作片不得行,会频繁拉动,太出戏了。 ^-^

    #6
  • 栗子

    是将整段视频喂给AI去翻译输出翻译后的版本吗?

    #7
  • RavelloH

    图片

    这种的app也已经有了,本地转录+翻译之后,可以导出字幕的

    #8
  • 離珠

    这个我了解不够,我预想最终的效果是想提炼出一个字幕文件,然后在播放器里挂载就解决了。

    如果不用AI那最好了 ^-^

    #9
  • Calvinv

    是什么 app 哇?想 mark 一下

    #10
  • RavelloH

    图片

    App Store

    图片

    AI录音转文字: 实时转录 App - App Store

    在 App Store 下载“成琦 李”的“AI录音转文字: 实时转录”。查看截屏、评分及评论、用户提示以及更多类似“AI录音转文字: 实时转录”的 App。

    #11
  • RzMY

    得做一些预处理,比如提取音轨、处理音频、转录,最后才是翻译

    #12
  • Biubiubu

    思路不一样。

    你这种属于提前搞,最终的效果拖动进度条甚至离线也可以做到非常流畅的体验,但不是实时,这种更不需要 AI 翻译了,让 AI 帮你写代码就完了。

    如果是实时,技术难度会高一些,我琢磨也不没必要用 AI 去翻译。

    哈哈哈哈 刚看到有话题讨论这个了 你可以参考一下 字幕提取这个领域,Gemini 还是太超模了

    #13
  • 離珠

    我已经解决了,vibe coding了一个,用的大模型+离线方案。用自己的电脑做的服务端,提供一个网页给手机访问,异步处理了。 ^-^

    #14
  • Zeus_Jie

    人家是本身有字幕 对着字幕翻译

    或者全靠上传完成后自动切削

    你这个想实时 难度不是差一点半点

    #15
  • 離珠

    上传 → 探测 → 抽音频 → 本地whisper 听写 → 本地LLM 校对 → 本地LLM 翻译 → 合成 SRT → 下载,这是我现在实现的方案,因为是要搞NSFW的,所以走不了云的API。

    他那个我也去拜读下,谢谢分享哈 ^-^

    #16
  • Biubiubu

    NSFW 笑死 佬是剧情向的吗?

    #17
  • 離珠

    那必须的啊,日本的动作片,要加字幕就只能自食其力 ^-^

    #18

发表回复

登录后回复