auto-video-generateor: 自动视频生成器,给定主题,自动生成解说视频

auto-video-generateor

自动视频生成器,给定主题,自动生成解说视频。用户输入主题文字,系统调用大语言模型生成故事或解说的文字,然后进一步调用语音合成接口生成解说的语音,调用文生图接口生成契合文字内容的配图,最后融合语音和配图生成解说视频。

️⭐️

❤️️喜欢的话,不妨“点石成金”点 Star ⭐️,“携手并进” Fork 一下,你的点⭐️是我的动力,感谢!

视频样例先睹为快

免费并校对:人的本性是天生的吗 免费并校对:归去来兮辞

default.mp4

default.mp4

免费并校对:空白效应 免费并校对:棘轮效应

video.mp4

video.mp4

体验Demo

  • 体验地址:http://avg.kddbot.com/

  • 扫码关注“趣聊机器人”微信公众号,体验该项目的效果:

    图片[1]-auto-video-generateor: 自动视频生成器,给定主题,自动生成解说视频 - NowX 游读社-NowX 游读社

  • 在”趣聊机器人“对话框输入”自动视频生成账密获取“(无引号),获取账号密码。

  • 可能生成视频资源速度比较慢,请耐心等待,或者在一段时间后,通过“加载参数”和“加载资源”来加载已经生成好的视频资源。

  • 如果图片是文字图片,则可能后台生成图片有异常,用文字图片替代,这种情况则稍后再试试。

  • 一定要整个流程跑一遍之后才能修改单个素材资源,跑一遍指的是“一键生成”执行完毕,或各个分步骤逐个执行一遍,特别是“创建记录”这步要执行。

v4. 免费+校对生成

先自动批量合成视频所需素材,然后校对用以合成视频的文本、语音、图像资源,可以修改或重新生成,直到满意。

图片[2]-auto-video-generateor: 自动视频生成器,给定主题,自动生成解说视频 - NowX 游读社-NowX 游读社

使用简要指引

  • 生成资源和视频,从零开始,自动生成视频

图片[3]-auto-video-generateor: 自动视频生成器,给定主题,自动生成解说视频 - NowX 游读社-NowX 游读社

  • 加载参数和资源,快捷加载已有数据,进一步生成视频

图片[4]-auto-video-generateor: 自动视频生成器,给定主题,自动生成解说视频 - NowX 游读社-NowX 游读社

  • 校对资源和生成,校对文本、语音、图像资源,生成满意视频

图片[5]-auto-video-generateor: 自动视频生成器,给定主题,自动生成解说视频 - NowX 游读社-NowX 游读社

免费的自动视频生成

全部用免费的资源实现,体现完整流程和初步效果。

相关文档

千帆ModelBuilder 部分ERNIE系列模型免费开放公告 – 千帆大模型平台 | 百度智能云文档 (baidu.com)

ERNIE-Speed-128K – 千帆大模型平台 | 百度智能云文档 (baidu.com)

如何用GPT直接生成AI绘画? – 知乎 (zhihu.com)

2.8k star! 用开源免费的edge-tts平替科大讯飞的语音合成服务 – 知乎 (zhihu.com)

基于千帆的自动视频生成

基于百度的千帆大模型生成故事和图像,然后进一步生成视频。

相关文档

API列表 – 千帆大模型平台 | 百度智能云文档 (baidu.com)

Python SDK快速入门 – 千帆大模型平台 | 百度智能云文档 (baidu.com)

Stable-Diffusion-XL – 千帆大模型平台 | 百度智能云文档 (baidu.com)

ERNIE-4.0-8K – 千帆大模型平台 | 百度智能云文档 (baidu.com)

极简的自动视频生成

实现这个系统需要多个步骤,包括生成故事文本、分句、语音合成、文生图、生成视频、以及使用Gradio进行交互。

  • 步骤 1: 生成故事文本
    为了简化,我们先手动创建一个示例故事文本。

  • 步骤 2: 分句
    使用re库或自然语言处理工具将文本分句。

  • 步骤 3: 语音合成
    使用pyttsx3库或其他语音合成模型进行语音合成。

  • 步骤 4: 文生图
    使用pillow库或其他文生图模型生成图片。

  • 步骤 5: 生成视频
    使用moviepy库将图片和音频组合成视频。

  • 步骤 6: 使用Gradio实现交互
    使用gradio库创建一个简单的交互界面。

资源校对交互页面

校对用以合成视频的文本、语音、图像资源,可以修改或重新生成,直到满意。

使用方法

执行代码

# 参数可选:1 2 3 4
python main.py 4

打开浏览器

http://127.0.0.1:8000/

交互操作

用户在gradio界面输入主题文字,生成并编辑故事文本,然后生成语音、图片资源,最终合成视频。

注意事项

  1. 生成视频后会把生成的文本、语音、图片的多媒体材料保存到目录中(默认:mnt/materials/username/code_name)。

  2. 保存多媒体材料的目录结构样例如下:

code_name
│  metadata.json
│  story.txt
│  video.mp4
│
├─audio
│      audio_100.mp3
│      audio_101.mp3
│      audio_102.mp3
│      audio_103.mp3
│      audio_104.mp3
│      audio_105.mp3
│      audio_106.mp3
│      audio_107.mp3
│
├─image
│      image_100.png
│      image_101.png
│      image_102.png
│      image_103.png
│      image_104.png
│      image_105.png
│      image_106.png
│      image_107.png
│
├─resource
│      resource_100.json
│      resource_101.json
│      resource_102.json
│      resource_103.json
│      resource_104.json
│      resource_105.json
│      resource_106.json
│      resource_107.json
│
└─text
        text_100.txt
        text_101.txt
        text_102.txt
        text_103.txt
        text_104.txt
        text_105.txt
        text_106.txt
        text_107.txt

todo list

  • 设置参数时候语音支持试听
  • 设置参数时候文生图提示词支持生成样例图
  • 字体支持预览效果
  • 资源校对完善切分、合并、增加、删除的操作
  • 支持输入故事开始生成视频
  • 去除图片里的水印(等比例截取画面、调用去水印接口)
  • 写代码注释
  • 录制操作视频
Measure
Measure
---------

私享大师班直通车:不论你是私域一线还是营销老手,不论您是为了个人突破还是为了团队管理,不论您关注销售、运营还是营销、数据分析,只要您希望通过系统学习彻底解决当前困局,大师班都将为你提供宝贵的知识和实用的策略,助你成为面向未来趋势的顶尖高手:

大师班报名入口,即将关闭,先到先得

5 天直播内容:

Day 1:揭秘增长危机真相,掌握弯道超车的三大关键
Day 2:为什么直播+社群双驱,才能战胜低利润与裁员死循环
Day 3:数据到底有什么用?!传你一套心法、套路和招式
Day 4:巧用有限策略思维,打造不费力的隐形利润战车
Day 5:从知识到时间再到项目,三级跳解放你的转化生产力

大师班试听课
© 版权声明
THE END
喜欢就支持一下吧
点赞5分享
评论 抢沙发
头像
欢迎您留下宝贵的见解!
提交
头像

昵称

取消
昵称表情代码图片

    暂无评论内容