auto-video-generateor
自动视频生成器,给定主题,自动生成解说视频。用户输入主题文字,系统调用大语言模型生成故事或解说的文字,然后进一步调用语音合成接口生成解说的语音,调用文生图接口生成契合文字内容的配图,最后融合语音和配图生成解说视频。
️⭐️
❤️️喜欢的话,不妨“点石成金”点 Star ⭐️,“携手并进” Fork 一下,你的点⭐️是我的动力,感谢!
视频样例先睹为快
免费并校对:人的本性是天生的吗 | 免费并校对:归去来兮辞 |
default.mp4 |
default.mp4 |
免费并校对:空白效应 | 免费并校对:棘轮效应 |
video.mp4 |
video.mp4 |
体验Demo
-
扫码关注“趣聊机器人”微信公众号,体验该项目的效果:
-
在”趣聊机器人“对话框输入”自动视频生成账密获取“(无引号),获取账号密码。
-
可能生成视频资源速度比较慢,请耐心等待,或者在一段时间后,通过“加载参数”和“加载资源”来加载已经生成好的视频资源。
-
如果图片是文字图片,则可能后台生成图片有异常,用文字图片替代,这种情况则稍后再试试。
-
一定要整个流程跑一遍之后才能修改单个素材资源,跑一遍指的是“一键生成”执行完毕,或各个分步骤逐个执行一遍,特别是“创建记录”这步要执行。
v4. 免费+校对生成
先自动批量合成视频所需素材,然后校对用以合成视频的文本、语音、图像资源,可以修改或重新生成,直到满意。
使用简要指引
- 生成资源和视频,从零开始,自动生成视频
- 加载参数和资源,快捷加载已有数据,进一步生成视频
- 校对资源和生成,校对文本、语音、图像资源,生成满意视频
免费的自动视频生成
全部用免费的资源实现,体现完整流程和初步效果。
相关文档
千帆ModelBuilder 部分ERNIE系列模型免费开放公告 – 千帆大模型平台 | 百度智能云文档 (baidu.com)
ERNIE-Speed-128K – 千帆大模型平台 | 百度智能云文档 (baidu.com)
如何用GPT直接生成AI绘画? – 知乎 (zhihu.com)
2.8k star! 用开源免费的edge-tts平替科大讯飞的语音合成服务 – 知乎 (zhihu.com)
基于千帆的自动视频生成
基于百度的千帆大模型生成故事和图像,然后进一步生成视频。
相关文档
API列表 – 千帆大模型平台 | 百度智能云文档 (baidu.com)
Python SDK快速入门 – 千帆大模型平台 | 百度智能云文档 (baidu.com)
Stable-Diffusion-XL – 千帆大模型平台 | 百度智能云文档 (baidu.com)
ERNIE-4.0-8K – 千帆大模型平台 | 百度智能云文档 (baidu.com)
极简的自动视频生成
实现这个系统需要多个步骤,包括生成故事文本、分句、语音合成、文生图、生成视频、以及使用Gradio进行交互。
-
步骤 1: 生成故事文本
为了简化,我们先手动创建一个示例故事文本。 -
步骤 2: 分句
使用re
库或自然语言处理工具将文本分句。 -
步骤 3: 语音合成
使用pyttsx3
库或其他语音合成模型进行语音合成。 -
步骤 4: 文生图
使用pillow
库或其他文生图模型生成图片。 -
步骤 5: 生成视频
使用moviepy
库将图片和音频组合成视频。 -
步骤 6: 使用Gradio实现交互
使用gradio
库创建一个简单的交互界面。
资源校对交互页面
校对用以合成视频的文本、语音、图像资源,可以修改或重新生成,直到满意。
使用方法
执行代码
# 参数可选:1 2 3 4 python main.py 4
打开浏览器
交互操作
用户在gradio界面输入主题文字,生成并编辑故事文本,然后生成语音、图片资源,最终合成视频。
注意事项
-
生成视频后会把生成的文本、语音、图片的多媒体材料保存到目录中(默认:mnt/materials/username/code_name)。
-
保存多媒体材料的目录结构样例如下:
code_name
│ metadata.json
│ story.txt
│ video.mp4
│
├─audio
│ audio_100.mp3
│ audio_101.mp3
│ audio_102.mp3
│ audio_103.mp3
│ audio_104.mp3
│ audio_105.mp3
│ audio_106.mp3
│ audio_107.mp3
│
├─image
│ image_100.png
│ image_101.png
│ image_102.png
│ image_103.png
│ image_104.png
│ image_105.png
│ image_106.png
│ image_107.png
│
├─resource
│ resource_100.json
│ resource_101.json
│ resource_102.json
│ resource_103.json
│ resource_104.json
│ resource_105.json
│ resource_106.json
│ resource_107.json
│
└─text
text_100.txt
text_101.txt
text_102.txt
text_103.txt
text_104.txt
text_105.txt
text_106.txt
text_107.txt
todo list
- 设置参数时候语音支持试听
- 设置参数时候文生图提示词支持生成样例图
- 字体支持预览效果
- 资源校对完善切分、合并、增加、删除的操作
- 支持输入故事开始生成视频
- 去除图片里的水印(等比例截取画面、调用去水印接口)
- 写代码注释
- 录制操作视频
私享大师班直通车:不论你是私域一线还是营销老手,不论您是为了个人突破还是为了团队管理,不论您关注销售、运营还是营销、数据分析,只要您希望通过系统学习彻底解决当前困局,大师班都将为你提供宝贵的知识和实用的策略,助你成为面向未来趋势的顶尖高手:
5 天直播内容:
Day 1:揭秘增长危机真相,掌握弯道超车的三大关键
Day 2:为什么直播+社群双驱,才能战胜低利润与裁员死循环
Day 3:数据到底有什么用?!传你一套心法、套路和招式
Day 4:巧用有限策略思维,打造不费力的隐形利润战车
Day 5:从知识到时间再到项目,三级跳解放你的转化生产力
暂无评论内容