ShortGPT：输入文字自动出短视频，这个AI框架有点东西最新版

一、这个项目能做什么？

ShortGPT 是由开发者 RayVentura 开源的一个实验性 AI 短视频自动化创作框架。它的核心理念很简单：输入一段文字描述，几分钟后给你一条带配音、带字幕、带背景素材的短视频。

项目最早于 2023 年 7 月发布，定位是帮助 YouTube Shorts 和 TikTok 内容创作者批量生产短视频。框架底层调用 OpenAI GPT-4 生成脚本，配合 ElevenLabs 或者 EdgeTTS 做语音合成，再自动抓取 Pexels 免费素材库里的视频片段作为背景，最后拼接渲染出成片。

整个流程覆盖了脚本创作 → 语音合成 → 字幕生成 → 素材匹配 → 视频渲染 → 元数据添加，全链路一条龙。RayVentura 本人在 GitHub 上比较低调，没有太多公开背景介绍，但从代码结构和提交频率来看，是一个专注于 AI 视频方向的个人开发者。项目目前采用 MIT 协议开源。

二、Github项目代码库供哪些人使用？

ShortGPT 目前在 GitHub 上积累了一定热度，属于 AI 视频生成领域里比较知名的开源项目之一。

从功能定位来看，以下几类人群是这个项目的主要用户：

• YouTube/TikTok 短视频创作者：需要批量生产同类型内容，比如科普解说、知识分享、产品介绍，用 ShortGPT 可以把制作一条视频的时间从几小时压缩到十几分钟。
• 出海内容团队：ShortGPT 支持 30 多种语言的语音合成和字幕，做多语言版本视频效率很高。
• AI 开发者和技术爱好者：项目代码结构清晰，提供了 EditingEngine 这样的 LLM 驱动视频编辑框架，适合想基于此二次开发的技术人员。
• 数字营销从业者：需要快速生产大量短视频素材，ShortGPT 可以作为自动化流水线使用。

使用门槛方面，需要具备基本的 Python 环境操作能力（安装依赖、配置 API Key），对 OpenAI 和 ElevenLabs 的 API 服务要有基本了解。目前不支持中文原生界面，中文字幕支持也还有一些已知问题需要手动处理字体文件。

三、有哪些有亮点的特色功能和服务？

1. 四大核心引擎

ShortGPT 的架构设计围绕四个核心引擎展开，每个引擎负责一类视频创作任务：

• ContentShortEngine：短视频创作主力引擎，输入主题自动生成脚本、配音、字幕、素材，输出完整的 60 秒以内短片。
• ContentVideoEngine：长视频制作引擎，支持更长的视频内容创作，包括音频生成、背景视频素材自动获取、字幕同步和背景资产准备。
• ContentTranslationEngine：多语言视频翻译引擎，可以输入视频文件或者 YouTube 链接，自动转录音频、翻译内容、目标语言配音、添加字幕，生成一个全新语言版本的视频。这是 ShortGPT 很有竞争力的一个功能。
• EditingEngine：智能视频编辑框架，用 LLM 理解视频编辑指令，把复杂的视频编辑任务拆解成可管理的模块，让 AI 能够理解和操作视频编辑流程。

2. 多语音模块支持

ShortGPT 支持多种语音合成方案，给了用户灵活的选择空间：

• ElevenLabs 语音模块：付费方案，语音质量高，支持声音克隆，可以训练自己专属的 AI 声音品牌。
• EdgeTTS 语音模块：免费方案，基于微软 Azure TTS 技术，支持 30+ 种语言，中文也可以用，但是语音风格相对固定。
• RVC 语音克隆：支持自定义声音克隆，把自己的声音或者喜欢的声音特征迁移到 AI 配音里。

3. Pexels 素材库自动匹配

内置 Pexels 免费视频素材库 API，AI 根据脚本内容自动匹配合适的背景视频片段，不需要用户手动找素材，省了大量时间。

4. 字幕自动生成

根据语音自动生成时间轴精确的字幕文件，并且可以把字幕烧录进视频画面。

5. YouTube 元数据自动生成

自动生成适合 YouTube 平台的标题、描述、标签等元数据内容，方便直接发布。

四、如何使用工具和服务？

1、有没有演示网址？

ShortGPT 是一个本地运行的开源框架，没有官方托管的在线演示网页。但 GitHub 页面本身提供了 Google Colab 的快速运行链接，零安装可以直接在浏览器里体验基础功能：

Colab 演示地址（来源自网络）：colab.research.google.com（需配合 ShortGPT 代码使用）

文档地址：docs.shortgpt.ai

2、安装部署这个项目对环境有哪些要求？

操作系统：

• Linux（推荐，Docker 部署体验最稳定）
• macOS（支持，需注意 Python 版本和 FFmpeg 安装）
• Windows（支持，需要 WSL2 环境配合）

硬件要求：

• 存储空间：项目构建后占用较大存储空间，尤其是视频处理依赖较多媒体库文件。有用户在 Issues 中提到初次构建需要约 10GB+ 存储。
• 内存：建议 8GB 以上，16GB 更流畅。
• 显卡：如果有 NVIDIA GPU 并安装了 CUDA，视频处理会快很多；没有 GPU 也能运行，速度会慢一些。

软件环境：

• Python 3.8+
• FFmpeg（视频处理核心依赖，必须安装）
• Git

API Key（必须）：

• OpenAI API Key（用于 GPT-4 脚本生成）
• ElevenLabs API Key（如果要用高质量语音合成）
• Pexels API Key（素材库自动匹配用，可以免费注册）

3、如何安装部署？

方法一：Docker 一键部署（推荐，最简单）

有社区用户已经制作了 Docker 镜像并上传到 DockerHub，可以直接拉取使用：

docker pull sr0408/shortgpt
docker run -e OPENAI_API_KEY=你的key -e ELEVENLABS_API_KEY=你的key shortgpt

方法二：源码手动安装

第一步，克隆仓库：

git clone https://github.com/RayVentura/ShortGPT.git
cd ShortGPT

第二步，安装依赖：

pip install -r requirements.txt

第三步，安装 FFmpeg（Linux/macOS）：

# Ubuntu/Debian
sudo apt update && sudo apt install ffmpeg

# macOS
brew install ffmpeg

Windows 用户需要从 ffmpeg.org 下载二进制文件并配置 PATH 环境变量。

第四步，配置 API Key：

在项目根目录创建 .env 文件，或者设置环境变量：

export OPENAI_API_KEY=sk-xxxxx
export ELEVENLABS_API_KEY=xxxxx
export PEXELS_API_KEY=xxxxx

第五步，运行主程序：

python main.py

4、使用的大模型是什么？

ShortGPT 的核心推理依赖是 OpenAI GPT-4（以及 GPT-3.5），用于：

• 视频脚本的自动生成
• 视频编辑指令的理解和执行
• 多语言翻译的内容处理

语音合成层则使用 ElevenLabs 或者微软 EdgeTTS，这两者不是大语言模型，而是专用的 TTS（Text-to-Speech）服务。整个架构里 AI 能力主要集中在上层脚本和编辑逻辑，底层视频合成依赖 FFmpeg 等传统工具完成。

5、举例说明基本使用方法

假设你要制作一条”AI人工智能发展史”的 60 秒科普短视频：

第一步，启动程序，进入交互界面选择 ContentShortEngine。

第二步，输入视频主题”AI人工智能发展史”，设定语言为英文，时长目标 60 秒。

第三步，AI 自动调用 GPT-4 生成脚本内容，大概是 5-6 段，每段 10 秒左右，包含开场白、要点讲解和结尾引导。

第四步，选择语音模块，这里选 EdgeTTS（免费），选择英文男声，AI 把脚本转成音频文件。

第五步，AI 自动从 Pexels 素材库抓取与每个脚本段落相关的视频片段，比如”深度学习”配神经网络画面，”计算机视觉”配摄像头画面。

第六步，字幕模块根据音频自动生成时间轴字幕文件，并烧录到视频画面。

第七步，所有片段拼接，添加背景音乐，输出最终 MP4 文件。整个过程不需要人工干预，一条视频 10-15 分钟完成。

6、最近升级或者增加了哪些新的功能？

从 GitHub 提交记录和版本更新日志来看，ShortGPT 近期的更新重点在以下方面：

• v0.1.31：修复了 AssetDatabase 中复制不存在的素材模板文件的问题。
• v0.1.3：订阅动画 URL 要求必须是有效的 YouTube URL，同时对部分 UI 组件做了优化。
• v0.0.2：上线了 ContentTranslationEngine 多语言视频翻译引擎，新增 EdgeTTS 语音模块，完善了官方文档。
• Docker 支持：社区用户主动制作并发布了 Docker 镜像，方便没有开发环境的用户快速部署。
• Issue 中还有用户提出的功能建议：延长最终生成视频时长的支持、RVC 语音克隆能力增强等。

7、它还有哪些资源和工具？

• 官方文档：docs.shortgpt.ai，提供详细的安装和使用说明。
• GitHub Discussions：官方讨论区，用户可以提问、分享使用经验。
• Docker 镜像：社区维护的 Docker 部署方案。
• Google Colab 笔记本：零安装体验版，可以在浏览器直接运行基础功能。
• Pexels API：内置集成的免费视频素材库。

五、需要哪些资源支持？

ShortGPT 的运行依赖以下外部资源：

云主机/VPS：可以部署到任何安装了 Docker 的 Linux 服务器，内存建议 8GB+，有 GPU 更好。社区用户已经验证可以在主流云服务商（AWS、阿里云等）的标准实例上运行。

Docker 部署：支持 Docker 和 Docker Compose，一条命令起服务，适合有一定容器化经验的用户。

数据库：项目本身不依赖外部数据库，数据以本地文件形式存储。

Cloudflare / Vercel 部署：ShortGPT 主要是 Python CLI 工具，不是 Web 应用，直接部署到 Vercel 或 Cloudflare Pages 不太适合。如果需要 Web 界面，需要自己基于 Flask/FastAPI 包装一层，这属于二次开发范畴。

API 费用：OpenAI GPT-4 按 token 计费，ElevenLabs 按字符数计费，这两个是主要成本来源。EdgeTTS 免费但质量稍逊。如果批量生产视频，需要控制好 API 调用频率和预算。

六、网友提出了哪些常见问题

问题1：构建项目时存储空间占用很大，怎么回事？

这是很多用户遇到的第一个坑。ShortGPT 依赖 FFmpeg、Whisper 等多个大型媒体处理库，加上 Pexels 素材本地缓存，初次构建确实需要较大空间。解决方法是确保有足够磁盘空间（建议 15GB 以上），构建完成后缓存文件可以清理。

问题2：中文语音配音时字幕显示不正常，一个字一个字蹦出来怎么办？

这是字体和字幕渲染的问题。ShortGPT 默认字体不支持中文字符，导致字幕显示异常。用户反馈需要手动替换支持中文的字体文件（如思源黑体）到项目字体目录，才能正常显示中文字幕。

问题3：能否延长最终生成的视频时长？

目前 ContentShortEngine 主要是为短视频（60 秒以内）设计的。如果要生成长视频，应该使用 ContentVideoEngine，或者多次调用 ContentShortEngine 拼接成系列内容。

问题4：YouTube 背景音乐下载失败怎么处理？

有用户报告在下载 YouTube 来源的背景音乐时遇到异常。这是网络问题导致的，ShortGPT 用 yt-dlp 从 YouTube 获取音频素材，国内访问 YouTube 不稳定会导致失败。可以考虑手动下载音频文件放到素材目录，或者更换为本地音频文件。

问题5：支持中文吗？

项目起源于英文社区，官方文档和默认模板都是英文。但技术层面支持多语言，EdgeTTS 支持中文语音，GPT-4 也支持中文Prompt，只是需要手动配置中文字体和处理中文字幕渲染问题。

七、用户评价怎么样？

从 GitHub Issues、Discussion 以及各技术社区的讨论来看，用户对 ShortGPT 的评价整体偏正面，但也有比较集中的吐槽点。

正面评价（4条）：

1. “ShortGPT 把 AI 视频生成的门槛拉低了一大截，之前觉得做自动化视频很复杂，用了这个框架才发现原来这么直接。脚本生成+素材匹配+配音+字幕一条龙，真的香。”——来自 CSDN 博主

2. “ContentTranslationEngine 是我用过的最方便的多语言视频翻译工具。扔进去一个 YouTube 链接，选择目标语言，出来一个全新配音的本地化视频，省了我太多时间。”——GitHub Discussion

3. “开源免费这个点很重要。Repurpose.io 一个月要几十美元，ShortGPT 用 OpenAI API 按量付费，成本可控多了。当然需要一点点技术能力，但回报率很高。”——技术论坛用户

4. “ContentShortEngine 生成脚本的质量超出预期，GPT-4 写的解说词逻辑清晰、有开场有结尾，比我自己写的还专业。素材匹配也很准，AI 选的视频片段跟内容很搭。”——YouTube 创作者

负面评价（1条）：

5. “中文字幕支持真的是灾难级别，默认字体不支持中文，改字体之后字幕时间轴又乱了。还有存储占用太大，第一次 build 占了快 12G，对于硬盘小的 VPS 很不友好。文档也不够详细，很多配置参数没有说明，得自己去代码里找。”——GitHub Issue 反馈

八、与同类型项目对比有哪些亮点和不足？

ShortGPT vs AutoShorts / AI Youtube Shorts Generator

AI Youtube Shorts Generator 是另一个做 AI YouTube 短视频的开源项目，核心功能是将长视频自动剪辑成短片。ShortGPT 的亮点是：全流程自动化（不只是剪辑），支持脚本生成和配音，方向更广。ShortGPT 的不足是：主要做从头生成视频，长视频转短视频的场景不如后者直接。

ShortGPT vs Repurpose.io

Repurpose.io 是很成熟的商业平台，不需要任何技术背景，直接网页操作就能用。ShortGPT 的亮点是：开源免费，技术可控，可以私有化部署，适合有开发能力的团队。ShortGPT 的不足是：有技术门槛，需要配置 API Key，没有完整的 Web UI，运营和非技术人员上手难度大。

ShortGPT vs InVideo AI / Synthesia

InVideo 和 Synthesia 都是主打 AI 视频生成的商业平台，Synthesia 还支持 AI 虚拟人数字人。ShortGPT 的亮点是：完全免费开源，支持声音克隆（RVC），可以自托管，数据不出本机。ShortGPT 的不足是：没有 AI 虚拟人，没有专业视频模板库，输出的视频在视觉丰富度上不如商业平台。

总结来说，ShortGPT 的最大优势在于开源免费 + 技术可控，适合有一定技术能力的用户或者团队做二次开发集成。商业平台的优势在于零门槛即开即用，劣势则是费用和数据控制。如果你懂技术、想控制成本、想做定制，ShortGPT 是个好起点；如果你只想快速出片不想折腾，商业平台更合适。