NarratoAI：影视解说+自动化剪辑的AI工具

NarratoAI 是基于AI技术自动化影视解说和编辑的工具。通过大型语言模型（LLM）理解视频内容，自动生成解说文案，并将文案转化为配音，同时进行视频剪辑和字幕生成。极大地简化视频制作流程，即使是非专业人士也能快速制作出专业水准的视频内容。NarratoAI支持个性化定制，允许用户根据自己的需求调整视频的各个方面，提升视频的吸引力和传播效果。

Github项目：https://github.com/linyqh/NarratoAI

NarratoAI的主要功能

• 自动视频解说：基于AI模型理解视频内容，并自动生成匹配的解说文案。

• 自动视频剪辑：根据生成的解说文案，自动剪辑视频，确保视频内容与解说同步。

• 配音功能：提供自动配音服务，将文案转化为语音，支持多种声音风格和语调。

• 字幕生成：自动根据解说文案生成字幕，支持自定义字幕样式，如字体、颜色和大小。

• 个性化定制：允许用户根据视频主题和风格选择不同的配音风格和字幕样式。

NarratoAI 是一个自动化影视解说工具，基于LLM实现文案撰写、自动化视频剪辑、配音和字幕生成的一站式流程，助力高效内容创作。

• 2024.12.16 发布新版本 0.3.9， 支持阿里 Qwen2-VL 模型理解视频；支持短剧混剪

配置要求

• 建议最低 CPU 4核或以上，内存 8G 或以上，显卡非必须

• Windows 10 或 MacOS 11.0 以上系统

• Python 3.10+

NarratoAI的技术原理

• 大型语言模型（LLM）：NarratoAI 基于大型语言模型来理解和分析视频内容。模型经过训练，理解和生成自然语言，自动撰写解说文案。

• 计算机视觉：通过计算机视觉技术，NarratoAI 识别视频中的对象、场景和活动，生成与视频内容相匹配的解说。

• 自然语言处理（NLP）：NLP 技术用于理解和生成人类语言，NarratoAI 将视频内容转化为流畅、自然的解说文案。

• 语音合成技术（Text-to-Speech, TTS）：NarratoAI 将生成的文案转化为语音，使用 TTS 技术来模拟人类的声音，提供配音。

• 视频编辑算法：自动剪辑视频需要复杂的算法来确定哪些片段应该被保留或删除，以及如何将片段与解说文案同步。

使用前准备

要使用 NarratoAI，首先需要申请一个 Google AI Studio 账号并获取 API Key：

• 访问Google AI Studio申请账号：https://aistudio.google.com/app/prompts/new_chat

• 点击 Get API Key 申请 API Key

• 申请的 API Key 填入 config.example.toml 文件中的 gemini_api_key 配置

部署方式

本地部署

步骤 1: 使用 conda 创建虚拟环境并安装依赖

conda create -n narratoai python=3.10
conda activate narratoai
cd narratoai
pip install -r requirements.txt

步骤 2: 根据操作系统安装 ImageMagick

• Windows: 下载并安装 ImageMagick，并在配置文件 config.toml 中设置 imagemagick_path。

• MacOS: 使用 Homebrew 安装：

  brew install imagemagick

步骤 3: 启动 WebUI

streamlit run ./webui/Main.py --browser.serverAddress=127.0.0.1 --server.enableCORS=True --browser.gatherUsageStats=False

步骤 4: 访问 Web 界面

在浏览器中访问 http://127.0.0.1:8501。

Docker 部署

步骤 1: 拉取项目并启动 Docker

git clone https://github.com/linyqh/NarratoAI.git
cd NarratoAI
docker-compose up

步骤 2: 访问 Web 界面

在浏览器中打开 http://127.0.0.1:8501。

步骤 3: 访问 API 文档

在浏览器中打开http://127.0.0.1:8080/docs 或者 http://127.0.0.1:8080/redoc 查看 API 文档。

04.使用方法

• 基础配置

首先，配置好 API Key 并选择支持的模型。目前，NarratoAI 仅支持 Gemini 模型，其他模型将在后续更新中支持。

• 选择视频并生成脚本

可以使用平台内置的演示视频，或者将你自己的 mp4 文件放在 resource/videos 目录下并刷新浏览器来加载视频。请注意：文件名不能包含中文、特殊字符、空格或反斜杠等。

• 保存脚本并开始剪辑

生成并保存脚本后，刷新浏览器，在脚本文件下拉框中选择生成的 .json 文件即可开始剪辑。

• 检查视频

如果视频中有不符合要求的片段，可以选择重新生成或手动编辑。

• 配置视频参数

配置好视频的基本参数后，点击开始生成视频。

• 生成视频

完成所有设置后，NarratoAI 将自动生成最终视频，完成整个解说和剪辑流程。

结语

NarratoAI 通过简化视频内容创作流程，使得影视解说和视频剪辑更加智能和高效。对于需要批量生产影视内容的创作者来说，这是一个强大的工具，可以极大提高工作效率。