即梦工作流使用说明(试验功能)
只把「画面 + 原生音频」交给即梦生成,分镜、对白、字幕与拼接仍然由本项目完成——Agnes 接口频繁 503 时的一条替代路径。
Agnes 的免费视频队列在高峰时段会持续返回 HTTP 503(video queue is full),一排队就是十几分钟,自动模式常常卡在视频生成这一步。即梦(Dreamina)提供了另一条路:它每天赠送积分,Seedance 系列视频模型支持原生音频,画面也稳定。于是 v7.6 新增了「外部素材模式」——整条分镜 → 配音 → 字幕 → 拼接的流水线原样保留,只把视频生成这一步换成即梦。即梦负责画面与原生音频,本项目负责编排、归一化、字幕与合成。该功能目前仍是试验阶段,欢迎试用,也欢迎把你用这套流程做出的作品发给我们。
试验功能说明
外部素材模式自 v7.6 起提供,仍在打磨中(检查点提示词、批量导入、字幕对齐都可能继续调整)。遇到问题请附任务 ID 反馈;如果你有更顺手的免费视频生成工具,也欢迎告诉我们,我们会评估适配。
即梦的长处与短板
👍
- ✓每天赠送积分,可以先免费试出成片
- ✓带原生音频,对白/环境声与画面同步生成,省掉一段 TTS
- ✓视频生成效果稳定,出片成功率比排队碰运气高得多
⚠️
- –免费积分不多,积分用完就需要付费或等待次日刷新
- –免费版只能用较低档位的模型,画质与细节不如付费档
- –即梦画在画面里的字幕经常错乱(错字、字形崩坏),不要指望它做画面字幕
和自动模式、手动模式比,差别只有一处
| 环节 | 自动 / 手动模式 | 外部素材模式(即梦) |
|---|---|---|
| 分镜与提示词 | 本项目生成 | 本项目生成,另外给出一份「可直接粘贴到即梦」的逐场景提示词 |
| 画面与音频 | Agnes 视频模型(接口频繁 503,只有配音由本项目 edge_tts 生成) | 即梦生成(带原生音频),按场景导出 mp4 后批量导入 |
| 字幕 | 按配音的词级时间戳对齐(较准) | 按各分镜真实时长估算对齐(可能错位,需在字幕检查点核对) |
| 拼接与成片 | 本项目拼接 | 本项目归一化 + 保留原音轨拼接 + 烧字幕 |
端到端流程
创建时选「🌐 外部素材」,选择「视频生成工具 = 即梦」,然后把流水线交给自动,把生成交给即梦:
创建任务,选「外部素材」
执行模式三选一:⚡ 自动 / ✋ 手动 / 🌐 外部素材。选第三个,并在展开的选项里确认视频生成工具是「即梦(Dreamina)」。
设定音频来源与字幕来源
音频来源:使用视频自带音频(推荐,保留即梦的原音轨,本项目不再生成 TTS)或使用本项目配音(用 edge_tts 旁白替换原音轨)。字幕来源:旁白(默认)或人物对白(字幕文本取自各场景对白)。
在分镜检查点复制提示词去即梦
本项目先跑完分镜。「🎬 即梦协作」卡片给出一份含画面、音频、时长约束的创作指令;到「视频片段(videos)」检查点,卡片里的提示词就是本项目自己的分镜脚本,按【场景 i/N · 时长】编号,直接粘贴到即梦逐段生成。
按场景导出视频
每段在即梦生成后导出 mp4。即梦的分镜视频档位是 5s / 10s,与项目的时长档位(4 / 5 / 6 / 8 / 10 / 12 秒)不一致时,导入后按实际时长对齐,不会截断成片。
批量导入回填
在视频片段检查点用「批量导入」一次选中多个 mp4。系统自动归一化到任务分辨率、30fps 与 H.264/AAC,并逐条回显时长、分辨率、帧率与是否有音轨(缺音轨会标黄提醒,不会拦你)。
字幕检查点核对,然后合片
选「使用视频自带音频」时,配音检查点会自动通过(不暂停),字幕按各分镜真实时长累计偏移生成。在字幕检查点核对断句与时间轴,确认后本项目保留原音轨拼接并烧入字幕,产出 final_video.mp4。
五个检查点分别做什么
- 1
分镜 scenes
确认分镜脚本与旁白;「🎬 即梦协作」卡片给出含画面 + 音频 + 时长约束的创作指令,可直接复制给即梦或任意 LLM 细化。
- 2
参考图 references
可选。把即梦出的分镜图导入(按 scene_1.png 命名),自动缩放到任务分辨率并居中补边;创意长视频会把导入图登记为该场景的参考图。
- 3
视频片段 videos
核心一步。卡片里的提示词就是可直接粘贴到即梦的分镜脚本;生成后批量导入 mp4。确认前系统会校验每个场景的视频是否都已导入,缺片会拒绝继续。
- 4
配音 audio
选「使用视频自带音频」时不暂停,自动通过;选「使用本项目配音」时与手动模式一致,在这里试听与重生成旁白。
- 5
字幕 subtitle
检查 SRT 的断句与时间轴:末条不超出音轨、相邻不重叠、中文单条不超过 18 字符。这是即梦链路里最需要人工看一眼的地方。
导出文件怎么命名才不出错
导入时系统按文件名里的「第一个数字 N」把文件映射到第 N 个场景。比如你导出 scene_1.mp4,它会落到第 1 段(scene_0/video.mp4);导出 scene_3.mp4,它会落到第 3 段(scene_2/video.mp4)。
- →scene_1.mp4 → 第 1 段(scene_0/video.mp4)
- →scene_3.mp4 → 第 3 段(scene_2/video.mp4)
有两点要注意:数字必须在 1 到场景数之间才会被采用,所以带年份或时间戳的文件名(比如 20261015.mp4)不会被误当成第 2026 段;文件名里没有可用数字时按上传顺序依次映射。想手动指定时,可以在导入时传一个显式映射(示例:1 → scene_2),把第 1 个文件放到第 3 个场景。稿件类任务的目录是 para_N,数字人任务只有一个 clip/clip.mp4。
- •导出时务必保留音频轨:即梦的「生成音频」开关打开后再导出,否则成片会没有声音。
- •本项目要求所有分镜分辨率一致;即梦导出尺寸五花八门也没关系,导入时统一缩放 + 居中补边。
- •同一批次里混入别的任务的文件最容易错位,导入后看一眼回显的场景映射再确认。
四个最容易踩的坑
1出片没声音:九成是即梦导出时没带音频,或者导出的是无声版本。重新导出带音频的 mp4 再导入即可,导入回显里 has_audio 会直接告诉你。
2字幕整体早/晚一两秒:字幕按各分镜的「真实时长」累计偏移估算,即梦的语速与台词长度一有出入就会累积偏差。到字幕检查点手改 SRT 最省事,也可以把即梦导出的字幕合并后回填。
3画面里叠了乱码字幕:即梦画面内的字幕经常错乱,不要让它做字幕。把字幕文案从提示词里去掉,只留项目统一烧入的那一层,画面就干净了。
4积分不够用:先跑通一个 2–3 场景的短任务,确认提示词、导出命名与导入流程都顺了,再放长任务。
试试看,然后分享作品
这套流程还在试验阶段,最需要的就是真实用例。用一条短的创意长视频或稿件视频跑通一版,把成片或截图发到 GitHub Discussions 的「Show and tell」,我们会收进站内的示例展示版块(欢迎附上你的分镜提示词与即梦参数,方便别人复现)。
想了解细节
外部素材模式的完整说明(检查点产物矩阵、批量导入接口、归一化规则)写在项目仓库的手动模式使用指南第五节;每个检查点里的卡片也内联了可复制的提示词与回填指引。
查看手动模式使用指南 →遇到 503 时的处理顺序
按这个顺序试,绝大多数情况三步之内就能出片:
即梦工作流常见问题(含 Agnes 503 / queue is full 的处理办法) →有其他免费视频生成工具?欢迎推荐
本项目的工具列表是可扩展的注册表,新增一个工具只需要补一套提示词模板与回填指引,流程与合成层都不用改。如果你手上有更好的免费视频生成渠道(可灵、海螺、开源本地模型……),欢迎在 GitHub 开 Issue 告诉我们:工具名称、是否原生音频、单段时长档位、能否导出字幕。我们会评估适配。
在 GitHub 上提建议 →现在就跑一条试试
外部素材模式是桌面版功能:下载后在创建任务时选择「🌐 外部素材」即可。在线 Demo 与网页版 Studio 使用自动模式。
相关页面
即梦工作流常见问题(含 Agnes 503 / queue is full 的处理办法)
Agnes 报 HTTP 503 或 video queue is full 怎么办?要不要等?能不能换条路?以及即梦工作流在用的过程中最常被问到的几个问题。
手动模式使用说明 — 自动随性生成 vs 手动精准出片 | Agnes Video
Agnes Video Generator 手动模式使用说明:在分镜、参考图、视频、配音、字幕、成片等检查点暂停,逐环节确认或修改产物后再继续,可配合更强的外部 AI 或工具实现有明确预期的输出。自动模式适合提供思路随性生成(vibe video generating),手动模式适合有明确输出预期、微调各阶段产物,并与自动模式做对比。
Agnes 视频生成报错排查:503 队列满 / 401 令牌 / 失败重试 | Agnes Video
Agnes Video Generator 报错怎么办:HTTP 503 video queue is full、401 无效令牌、生成失败与中断的断点续传、系统要求与 API Key 说明,逐条给出处理办法。
旁白与字幕:给 AI 视频加配音和字幕
数字人口播模式自带 TTS 配音和口型对齐,输入文案直接出片,不用额外处理;普通文生视频可以通过主流剪辑工具自己加字幕。本文讲清各模式的配音字幕能力、具体设置步骤和成片效果对比,帮你快速做出带解说的完整视频。
参考依据
本页关于即梦工具能力、外部素材模式检查点与素材归一化规则的说明,依据以下来源。
- 即梦 AI (Dreamina):AI 图片与视频创作平台ByteDance · 即梦官网 (2025)
即梦(Dreamina)是本流程中负责画面与原生音频生成的工具;其官网的工具能力与积分规则是本页「优缺点」一节的事实依据。
- agnes-video-generator — 开源 AI 视频生成项目lcy362 · GitHub (2026)
外部素材模式的实现(检查点提示词、批量导入、保留原音轨合成)以项目仓库源码为准:core/providers.py、web/routes/video_routes.py 与 utils/video.py。
- FFmpeg Documentation — 音视频处理官方文档FFmpeg 项目 · ffmpeg.org (2025)
导入时的归一化(等比缩放居中补边、统一帧率与 H.264/AAC 编码)与拼接烧字幕都由 ffmpeg 完成,参数语义以官方文档为准。
内容可信度说明
本文由一线实践者撰写,写的时候交叉核对了 arXiv 论文、厂商技术报告和 Stanford AI Index 等一手来源,不是凭主观印象下的结论。
SandGrid@lcy362
Agnes Video Generator 项目作者 · 全栈开发者
独立开发者,开源 AI 视频生成工具 Agnes Video Generator 的作者。项目基于 Agnes AI 完全免费的视频模型,MIT 协议开源,已经帮 1,000+ 创作者零成本产出过 AI 视频。长期关注视频生成模型的工程化和普及,文章内容都来自一线实践和一手研究。
访问 GitHub最后更新:2026-08-21