数字人口播,从写稿到剪辑一套做完
把文稿做成带数字人出镜的完整口播视频。Digital Human Koubo 会按内容推荐剪辑风格,调用 Renoise 图片与视频生成服务分段制作,再统一声音、对齐字幕并用 Remotion 完成剪辑包装。
可用于 Claude Code · Codex · OpenClaw
前置要求
- Renoise MCP
- ffmpeg
- Python 3 + numpy + Pillow
- Node.js >= 18
- whisper-cli
概览
你会得到什么
- 可复用的数字人形象配置,以及按短段拆分的口播文稿。
- 适用于解说、竖屏花字、发布介绍、教程及多主播视频的剪辑流程。
- 声音处理、逐字字幕、画面包装和导出的成片。
适用场景
- 用固定主播持续制作产品介绍、教程或解说视频。
- 让 Agent 协调生成与本机后期,先看费用和首段,再完成整片。
教程
看懂口播成片怎么做
数字人说完一段话后,往往还要修声音、排字幕、插素材和调节奏。Digital Human Koubo 把这些工作串成一套 Agent 技能:按内容选剪辑风格,用 Renoise 生成口播片段,再用本机脚本和 Remotion 剪成完整视频。Renoise 是图片与视频生成服务,MCP 用来让编程工具连接它。
上方是作者约 5 分 55 秒的升级版教程。观看时可以留意:
- 形象如何复用:同一主播进入不同场景,也能换成双主播或动物角色。
- 声音如何生成:示例解释直接生成口播,以及用已有录音驱动口型的区别。
- 后期怎样辅助讲解:主播与步骤说明、演示画面、关键词交替出现。
按你要交付的内容选择
- Digital Human Koubo:从文稿、数字人片段一直做到带字幕和包装的口播视频。
- VoiceStudio:在本机把文稿做成音频,适合已有视频、只需要配音的情况。
- eian-riso-broll:把口播中的数字、对比和步骤做成无声插入动画,适合给已有口播补画面。
安装技能并连接 Renoise
以下用 Claude Code、macOS 或 Linux 的 Bash 终端,制作一条约 45 秒的竖屏产品介绍。技能代码免费,图片和视频生成使用你账户里的 Renoise 积分。
- 在终端运行快捷安装区的命令,复制主技能与配套的
finance-explainer。两份目录包含后续要用的脚本、参考资料和模板。 - 在 Claude Code 中依次输入下面两条命令,安装 Renoise 插件;首次调用时按浏览器提示登录授权:
/plugin marketplace add ArcoCodes/renoise-plugins-official
/plugin install renoise@renoise-plugins-official
- 重开会话,请它“查看我的 Renoise 余额”。看到返回的账户积分后,在终端检查本机环境:
bash ~/.claude/skills/digital-human-koubo/scripts/doctor.sh
检查覆盖 FFmpeg、Python 及 NumPy/Pillow、Node.js 18+、whisper-cli 和语音模型。按输出补齐缺项,再运行一次,直到报告本机环境齐全。Remotion 依赖由剪辑工程的初始化脚本安装。
如果使用 Codex
在克隆后的仓库目录中,将两份技能复制到作者文档指定的 Codex 目录,再连接 MCP:
mkdir -p ~/.codex/skills
cp -R skills/digital-human-koubo skills/finance-explainer ~/.codex/skills/
codex mcp add renoise --url https://renoise.ai/api/public/mcp
codex mcp login renoise
重开会话后明确点名“使用 digital-human-koubo”。下文终端命令里的 ~/.claude/skills/ 相应改为 ~/.codex/skills/。作者用 Claude Code 完成了示例,Codex 路线按仓库的兼容说明配置。
准备自己的形象和内容
- 新建工作目录,把产品名称、适用人群、两个真实特点、需要展示的内容和结尾行动写进
brief.md。 - 将自己的正脸照放到
assets/portrait.jpg,产品照片或录屏也放进assets/。照片宜光线均匀、面部清楚。 - 在 Claude Code 打开这个工作目录,发送下面的本站练习请求:
使用 digital-human-koubo,制作一条约 45 秒、9:16 的产品介绍。
读取 brief.md,使用 assets/portrait.jpg 创建我的数字人,并使用 assets/ 中的产品素材。
先根据内容推荐两种剪辑风格,展示预览图,让我选择;花字以清楚易读为主。
选定后准备文稿与人物配置,说明需要生成的图片、口播段数、时长、预估 Renoise 积分和余额。
每次生成前都等我确认费用。先制作第一段供我检查,不要直接批量生成整片。
技能会从以下五种风格中推荐两种:
| 标签 | 风格 |
|---|---|
| A | 解说 |
| B | 竖屏花字 |
| C | 发布解读 |
| D | 步骤教程 |
| E | 多主播、多语言 |
本练习选择 B 竖屏花字,它适合短产品介绍,并用 edit.json 控制字幕和包装。若推荐结果没有 B,可直接要求改选 B。
创建新形象时,技能会整理多角度参考图、试拍,并把选定形象与声音描述存到 persona.json。brief.json 保存本次风格和比例,script.json 保存分段文稿;前者决定怎么剪,后者决定说什么。
先看第一段,再生成其余内容
- 阅读文稿,核对产品信息,明确数字读法和结尾希望观众采取的行动。每段控制在模型接受的 15 秒以内。
- 查看本次报价中的图片、口播段数、秒数与积分。确认后,让 AI 只生成第一段。
- 打开首段,听声音是否合适,看口型、人物外观和画面构图。先解决这些问题,再批准其余段落。
满意后可以这样继续:
首段的形象和声音确认。沿用同一人物配置,完成已报价并获我批准的其余口播段落。
逐段回听并与文稿比对,抽帧检查画面,再统一声音、制作逐字字幕并进入剪辑。
采用 B 竖屏花字风格,强度选“克制”。每个卖点配对应的产品素材,结尾保留 brief.md 中的行动提示。
需要增加生成或重拍时,先列出原因与新增积分,等我确认。
这一顺序把修改集中在首段:更换形象或声音会影响整片,而一个字幕颜色或卡片位置通常只影响后期。
完成剪辑并检查成片
技能会下载并核对片段,用 Whisper 转写比对文稿、生成时间轴,再处理声音和剪辑。B 风格工程里,几个主要文件各管一件事:
| 文件 | 用来做什么 |
|---|---|
public/main.mp4 | 拼接后的数字人口播画面 |
public/voice.wav | 处理后单独铺设的人声 |
public/show/ | 需要展示的产品素材 |
src/tl.json | 字词出现的时间 |
src/edit.json | 花字强度、关键词、卡片、素材展示和结尾提示 |
让 AI 提供工程路径和预览。先看字幕能否读清、产品素材是否对应当前讲述、配乐是否盖住人声,再看过渡中间有没有遮挡。用实际听到的口播核对字幕。
例如,素材切得太快时,可以发出一个范围明确的修改请求:
保留已生成的口播、人声和总时长。只调整剪辑:第一张产品图保留至少 3 秒,去掉人物脸旁的表情贴纸,关键词仍用当前强调色。
先给我这一段的预览,确认后再导出整片。
导出前,AI 可用技能自带检查器核对时间引用。在终端执行时,将 ./product-edit 换成它实际创建的工程路径:
python3 ~/.claude/skills/digital-human-koubo/scripts/check_edit.py ./product-edit/src
看到 ✓ 时间引用全部能对上 表示时间引用检查通过;若有 ✗ 错误,让 AI 修正后重跑。检查通过并确认预览后,让 AI 导出整片,返回最终 MP4 的路径,再打开确认字幕、产品素材和声音完整。
技能代码与文档采用 MIT 许可。成片保留“内容由 AI 数字人演绎”标识。使用内置动态表情时,在片尾保留 Animated emoji: Google Noto 署名;团队使用 Remotion 的许可条件见第三方说明。
换成自己的下一条内容
固定主播可以继续使用同一份 persona.json。换产品时替换文稿和展示素材;换成横屏教程时,重新选择结构和风格。C、D、E 的工程是可参考的剪辑实现,需要按新文稿重写场景;A 风格使用安装时一起复制的 finance-explainer 引擎。
将下面的方括号替换为真实内容:
使用 digital-human-koubo,制作 [产品介绍 / 操作教程 / 发布解读]。
资料与素材:[文稿文件、照片、录屏或产品图片路径]。
观众与行动:[谁来看,希望他们看完做什么]。
主播:[已有 persona.json 路径,或创建新形象的照片路径]。
平台、比例与目标时长:[填写实际要求]。
先推荐剪辑风格,确认文稿和费用;第一段经我确认后再继续。
后期重点:[字幕强度、要展示的素材、需要强调的数字或步骤]。
想加入“文字在人身后”的效果时,需要 macOS 的人像分割功能,并在试拍前说明要用中景、给文字留背景空间。先让基础口播流程跑通,再增加这一类效果。