• Tiger

    本帖使用社区开源推广,符合推广要求。我申明并遵循社区要求的以下内容:

    - 我的帖子已经打上 开源推广 标签: 是

    - 我的开源项目完整开源,无未开源部分: 是

    - 我的开源项目已链接认可 LINUX DO 社区: 是

    - 我帖子内的项目介绍,AI生成、润色内容部分已截图发出: 是

    - 以上选择我承诺是永久有效的,接受社区和佬友监督: 是


    截止目前开源总结

    感谢原项目 basketikun 以及二开版 HuFakai ,从上个月开始二开开始,到现在过了一个多月时间,现在基本是一个基本可以正常生产力可用的版本了,完美基于后端账号的多设备多标签画布同步,生图视频任务后端轮询支持并发,关闭前端数据在后端依然存在,支持 APIMart 等站点基本所有主流模型配置面板等等,基本主力可以直接使用了,后续就是细节上打磨或者UI,使用逻辑的修改了

    本项目基于原开源的基础上增加修改的功能如下:

    - 新增 3D 导演台,支持本地模型上传,导演台数据跟随画布同步

    - 新增全景图节点,支持文生图、参考图生成、本地导入全景图

    - 新增摄像机控制,支持相机、镜头、焦距和光圈参数

    - 全景图查看器,支持全景图 360° 环视、缩放及沉浸式查看

    - 合并 HuFakai 版本的生图渠道模式,生图工作台,生图工作流,视频创作台等等以及一些后台管理设置,后端服务请求等

    - 添加并完善 Apimart 等 API 中转站全部图片视频模型的兼容协议

    - 各种主流模型专属配置面板

    - 更多详情见本项目 Changelog

    开源项目地址:

    github.com

    图片

    GitHub - tigerowo/infinite-canvas: 面向AI创作的开源无限画布工作台,集成 AI...

    面向AI创作的开源无限画布工作台,集成 AI 生图、参考图编辑、视频生成、画布编排、对话助手、提示词库和素材管理等功能、兼容OpenAI接口,支持chatgpt2api、APIMart、newapi等接入

    新增功能展示

    3D 导演台

    导演台从画布节点打开,支持快捷键,图片节点,全景图节点链接,一键发送单张,多张图片至画布

    每个导演台节点拥有独立的 3D 场景数据,关闭后可恢复,登录且画布同步可用时会随画布项目同步

    支持导入自己模型,多设备同步支持数据同步,丢失模型支持重新导入

    图片

    图片

    全景图生成及查看

    支持生成导入全景图,自由选择全景图导入模式,全景图查看器支持画布直接预览查看也支持放大查看

    图片

    图片

    摄像机控制

    图片,视频,配置节点支持自定义摄像机参数,具体相机,镜头,焦距和光圈,相机镜头配置和图片后期会更新,右下方按钮启用和关闭

    图片

    生图工作台,工作流

    合并 HuFakai 版本的生图渠道模式,包括前端 UI ,生成结果卡片等等,图片 URL 修改为默认临时 URL 直接返回上游链接,需要自己手动上传至云存储即可变成永久有效链接

    图片

    图片

    视频创作台

    合并 HuFakai 版本视频创作台模式,左侧配置面板基于原项目完整修改

    支持参考图,参考视频,参考音频,首尾帧,音频配置开关,针对 Kling 3 模型有专属配置面板,所有高级字段,画布中配置参数都同步

    图片

    画布

    画布增加很多配置,全景图,导演台,摄像机参数等等,图片放大查看修改直观简约

    画布遮罩配置不再专属遮罩字段,而是生成带遮罩图片传递,支持所有生图模型

    专属配置面板支持首尾帧等等,更多功能自行体验

    图片

    提示词换源

    不仅去除换源了原本无法使用的 EvoLink 已经删库的提示词源,并且现在接手重新维护提示词仓库,提示词仓库预览,并新增一条提示词仓库地址

    图片

    提示词仓库地址(欢迎提交高质量提示词):

    github.com

    图片

    GitHub - tigerowo/awesome-gpt-image-2-prompts: Curated GPT-Image-2 prompts fot the Openai...

    Curated GPT-Image-2 prompts fot the Openai API:image examples across portraits, posters, UI mockups, character sheets, and community experiments.

    APIMart 全量模型支持

    相比市面上其他 API 站而言,模型大多数较为全面而且低价,本项目也支持其站点所有图片视频模型,现在正在接入音乐创作台,因为他们现在支持 Suno,最低充值价格 1 美元

    更多功能详情请访问仓库地址

    结语

    ^-^再次感谢原项目 basketikun 以及二开版 HuFakai 的开源贡献

    现在依然在高强度改项目,集成项目和改 BUG

    欢迎体验,Star、issue 和 PR

    更多模型或协议的兼容还需共创的努力

    主楼
  • 出错了:Website_无效

    (帖子已被作者删除)

    #1
  • 出错了:Website_无效

    看错了,你也是二开的那个作者哇,

    #2
  • Smooth_as_water

    我有个大胆的想法 正在寻找这方面相关的资讯,ai能直接接管导演工作台,根据对剧情的理解 直接生成对应动作的导演图吗? 自己建模 自己控制人物姿势

    #3
  • spMEI

    感谢佬的,要是能自定义就更好了!!!感谢佬!

    #4
  • Tiger

    二开的哇,不是原作者,原项目已经纯前端辽

    图片

    #5
  • 出错了:Website_无效

    没有必要,目前的难点在于上下镜头的连贯性

    #6
  • Smooth_as_water

    空间结构是一个难点 一旦垮15s 人物空间站位就会错 所以我想着能不能直接ai生成对应的空间结构图作为生成故事板的时候画面参考

    #7
  • 月詠風華

    感谢分享, 现在生图, 越来越向传统摄影方向靠拢了, 更符合人的创作习惯.

    #8
  • 出错了:Website_无效

    可以的,这个3d台的作用就是这个,但AI接入目前没看到用的

    #9
  • Tiger

    这个是现在的 Agent 模式,现在基本就是让 Agent 可以接管画布项目,一句话自动生成提示词执行多镜头任务了好像,我下版本会加上

    #10
  • Tiger

    镜头连贯性其实感觉不能完全依靠 AI 现在还是,不清楚 SD2.5 现在效果如何,但是要效果很好的现在还是得靠自己手动分镜,给 AI 传输图片,完整告知它

    #11
  • Smooth_as_water

    嗯 手动来控制画面还是太难了

    第一个首先要对剧情的画面空间有一个理解

    第二个需要手动摆放物品人物

    第三个可能库中没有合适的姿势

    第四个就是导演台人物姿势感觉有些僵硬,生成视频出来不太自然

    #12
  • zhuiyue132

    这个人物素模有点眼熟。我也用的这个。

    #13
  • Smooth_as_water

    我不知道现在主流的方法是什么,但是我用的方法就是先出文字分镜脚本,再引用对应资产,生成一个15s的单元故事板,痛点就是故事板会导致画面劣化,用了黑白结构也不太行,有的时候会导致画风往黑白故事板画风漂移,还有就是一旦画面镜头关系发生变化,空间站位就会错点,甚至人直接嵌进桌子里,我估计也是我和只上传了一张环境视角的图片有关系,还有持续摸索中

    #14
  • 长秋

    牛哇牛哇!纯前端的话还是有点吃力的

    #15
  • 出错了:Website_无效

    别用故事板,文字够了,最多加图片,故事版是忽悠人的,模型根本没有那么多注意力放到图片里面,人脸都保持的会偏移怎么可能能完全看懂图片里那么小的字,把生故事板的结构拿到提示词里,非要用就结合在一起

    #16
  • Tiger

    预设姿势只有几个不可能全有,但是支持自己手动调整出自己想要的姿势

    因为导演台只是一个最基础的 3D 建模软件的模型摆放基础逻辑

    只能够把机位摆好各个模型位置放置好,自己添加想要的

    比如人物站位,想呈现的视角,在一个空间的布局,物品摆放人物,车辆占位,特定镜头的角度等等所有的这些能够完整的告知模型

    文字描述因为实在欠缺,更多的文字描述远不及你自己给它一张图片效果来的好而且快速效率

    #17
  • Tiger

    是,主要还是有多设备情况,还有容易丢失任务其实有时候

    #18
  • Tiger

    主要还是感谢原项目的开源贡献

    自定义是指自定义什么,渠道后端可以自定义,前端也能够支持自定义模型渠道的

    #19

发表回复

登录后回复