即梦工作流使用说明(试验功能)

只把「画面 + 原生音频」交给即梦生成,分镜、对白、字幕与拼接仍然由本项目完成——Agnes 接口频繁 503 时的一条替代路径。

Agnes 的免费视频队列在高峰时段会持续返回 HTTP 503(video queue is full),一排队就是十几分钟,自动模式常常卡在视频生成这一步。即梦(Dreamina)提供了另一条路:它每天赠送积分,Seedance 系列视频模型支持原生音频,画面也稳定。于是 v7.6 新增了「外部素材模式」——整条分镜 → 配音 → 字幕 → 拼接的流水线原样保留,只把视频生成这一步换成即梦。即梦负责画面与原生音频,本项目负责编排、归一化、字幕与合成。该功能目前仍是试验阶段,欢迎试用,也欢迎把你用这套流程做出的作品发给我们。

试验功能说明

外部素材模式自 v7.6 起提供,仍在打磨中(检查点提示词、批量导入、字幕对齐都可能继续调整)。遇到问题请附任务 ID 反馈;如果你有更顺手的免费视频生成工具,也欢迎告诉我们,我们会评估适配。

即梦的长处与短板

👍

  • ✓每天赠送积分,可以先免费试出成片
  • ✓带原生音频,对白/环境声与画面同步生成,省掉一段 TTS
  • ✓视频生成效果稳定,出片成功率比排队碰运气高得多

⚠️

  • –免费积分不多,积分用完就需要付费或等待次日刷新
  • –免费版只能用较低档位的模型,画质与细节不如付费档
  • –即梦画在画面里的字幕经常错乱(错字、字形崩坏),不要指望它做画面字幕

和自动模式、手动模式比,差别只有一处

环节自动 / 手动模式外部素材模式(即梦)
分镜与提示词本项目生成本项目生成,另外给出一份「可直接粘贴到即梦」的逐场景提示词
画面与音频Agnes 视频模型(接口频繁 503,只有配音由本项目 edge_tts 生成)即梦生成(带原生音频),按场景导出 mp4 后批量导入
字幕按配音的词级时间戳对齐(较准)按各分镜真实时长估算对齐(可能错位,需在字幕检查点核对)
拼接与成片本项目拼接本项目归一化 + 保留原音轨拼接 + 烧字幕

端到端流程

创建时选「🌐 外部素材」,选择「视频生成工具 = 即梦」,然后把流水线交给自动,把生成交给即梦:

1

创建任务,选「外部素材」

执行模式三选一:⚡ 自动 / ✋ 手动 / 🌐 外部素材。选第三个,并在展开的选项里确认视频生成工具是「即梦(Dreamina)」。

2

设定音频来源与字幕来源

音频来源:使用视频自带音频(推荐,保留即梦的原音轨,本项目不再生成 TTS)或使用本项目配音(用 edge_tts 旁白替换原音轨)。字幕来源:旁白(默认)或人物对白(字幕文本取自各场景对白)。

3

在分镜检查点复制提示词去即梦

本项目先跑完分镜。「🎬 即梦协作」卡片给出一份含画面、音频、时长约束的创作指令;到「视频片段(videos)」检查点,卡片里的提示词就是本项目自己的分镜脚本,按【场景 i/N · 时长】编号,直接粘贴到即梦逐段生成。

4

按场景导出视频

每段在即梦生成后导出 mp4。即梦的分镜视频档位是 5s / 10s,与项目的时长档位(4 / 5 / 6 / 8 / 10 / 12 秒)不一致时,导入后按实际时长对齐,不会截断成片。

5

批量导入回填

在视频片段检查点用「批量导入」一次选中多个 mp4。系统自动归一化到任务分辨率、30fps 与 H.264/AAC,并逐条回显时长、分辨率、帧率与是否有音轨(缺音轨会标黄提醒,不会拦你)。

6

字幕检查点核对,然后合片

选「使用视频自带音频」时,配音检查点会自动通过(不暂停),字幕按各分镜真实时长累计偏移生成。在字幕检查点核对断句与时间轴,确认后本项目保留原音轨拼接并烧入字幕,产出 final_video.mp4。

五个检查点分别做什么

  1. 1

    分镜 scenes

    确认分镜脚本与旁白;「🎬 即梦协作」卡片给出含画面 + 音频 + 时长约束的创作指令,可直接复制给即梦或任意 LLM 细化。

  2. 2

    参考图 references

    可选。把即梦出的分镜图导入(按 scene_1.png 命名),自动缩放到任务分辨率并居中补边;创意长视频会把导入图登记为该场景的参考图。

  3. 3

    视频片段 videos

    核心一步。卡片里的提示词就是可直接粘贴到即梦的分镜脚本;生成后批量导入 mp4。确认前系统会校验每个场景的视频是否都已导入,缺片会拒绝继续。

  4. 4

    配音 audio

    选「使用视频自带音频」时不暂停,自动通过;选「使用本项目配音」时与手动模式一致,在这里试听与重生成旁白。

  5. 5

    字幕 subtitle

    检查 SRT 的断句与时间轴:末条不超出音轨、相邻不重叠、中文单条不超过 18 字符。这是即梦链路里最需要人工看一眼的地方。

导出文件怎么命名才不出错

导入时系统按文件名里的「第一个数字 N」把文件映射到第 N 个场景。比如你导出 scene_1.mp4,它会落到第 1 段(scene_0/video.mp4);导出 scene_3.mp4,它会落到第 3 段(scene_2/video.mp4)。

  • →scene_1.mp4 → 第 1 段(scene_0/video.mp4)
  • →scene_3.mp4 → 第 3 段(scene_2/video.mp4)

有两点要注意:数字必须在 1 到场景数之间才会被采用,所以带年份或时间戳的文件名(比如 20261015.mp4)不会被误当成第 2026 段;文件名里没有可用数字时按上传顺序依次映射。想手动指定时,可以在导入时传一个显式映射(示例:1 → scene_2),把第 1 个文件放到第 3 个场景。稿件类任务的目录是 para_N,数字人任务只有一个 clip/clip.mp4。

  • •导出时务必保留音频轨:即梦的「生成音频」开关打开后再导出,否则成片会没有声音。
  • •本项目要求所有分镜分辨率一致;即梦导出尺寸五花八门也没关系,导入时统一缩放 + 居中补边。
  • •同一批次里混入别的任务的文件最容易错位,导入后看一眼回显的场景映射再确认。

四个最容易踩的坑

1出片没声音:九成是即梦导出时没带音频,或者导出的是无声版本。重新导出带音频的 mp4 再导入即可,导入回显里 has_audio 会直接告诉你。

2字幕整体早/晚一两秒:字幕按各分镜的「真实时长」累计偏移估算,即梦的语速与台词长度一有出入就会累积偏差。到字幕检查点手改 SRT 最省事,也可以把即梦导出的字幕合并后回填。

3画面里叠了乱码字幕:即梦画面内的字幕经常错乱,不要让它做字幕。把字幕文案从提示词里去掉,只留项目统一烧入的那一层,画面就干净了。

4积分不够用:先跑通一个 2–3 场景的短任务,确认提示词、导出命名与导入流程都顺了,再放长任务。

试试看,然后分享作品

这套流程还在试验阶段,最需要的就是真实用例。用一条短的创意长视频或稿件视频跑通一版,把成片或截图发到 GitHub Discussions 的「Show and tell」,我们会收进站内的示例展示版块(欢迎附上你的分镜提示词与即梦参数,方便别人复现)。

想了解细节

外部素材模式的完整说明(检查点产物矩阵、批量导入接口、归一化规则)写在项目仓库的手动模式使用指南第五节;每个检查点里的卡片也内联了可复制的提示词与回填指引。

查看手动模式使用指南 →

遇到 503 时的处理顺序

按这个顺序试,绝大多数情况三步之内就能出片:

即梦工作流常见问题(含 Agnes 503 / queue is full 的处理办法) →

有其他免费视频生成工具?欢迎推荐

本项目的工具列表是可扩展的注册表,新增一个工具只需要补一套提示词模板与回填指引,流程与合成层都不用改。如果你手上有更好的免费视频生成渠道(可灵、海螺、开源本地模型……),欢迎在 GitHub 开 Issue 告诉我们:工具名称、是否原生音频、单段时长档位、能否导出字幕。我们会评估适配。

在 GitHub 上提建议 →

现在就跑一条试试

外部素材模式是桌面版功能:下载后在创建任务时选择「🌐 外部素材」即可。在线 Demo 与网页版 Studio 使用自动模式。

相关页面

参考依据

本页关于即梦工具能力、外部素材模式检查点与素材归一化规则的说明,依据以下来源。

  1. 即梦 AI (Dreamina):AI 图片与视频创作平台ByteDance · 即梦官网 (2025)

    即梦(Dreamina)是本流程中负责画面与原生音频生成的工具;其官网的工具能力与积分规则是本页「优缺点」一节的事实依据。

  2. agnes-video-generator — 开源 AI 视频生成项目lcy362 · GitHub (2026)

    外部素材模式的实现(检查点提示词、批量导入、保留原音轨合成)以项目仓库源码为准:core/providers.py、web/routes/video_routes.py 与 utils/video.py。

  3. FFmpeg Documentation — 音视频处理官方文档FFmpeg 项目 · ffmpeg.org (2025)

    导入时的归一化(等比缩放居中补边、统一帧率与 H.264/AAC 编码)与拼接烧字幕都由 ffmpeg 完成,参数语义以官方文档为准。

内容可信度说明

本文由一线实践者撰写,写的时候交叉核对了 arXiv 论文、厂商技术报告和 Stanford AI Index 等一手来源,不是凭主观印象下的结论。

S

SandGrid@lcy362

Agnes Video Generator 项目作者 · 全栈开发者

独立开发者,开源 AI 视频生成工具 Agnes Video Generator 的作者。项目基于 Agnes AI 完全免费的视频模型,MIT 协议开源,已经帮 1,000+ 创作者零成本产出过 AI 视频。长期关注视频生成模型的工程化和普及,文章内容都来自一线实践和一手研究。

访问 GitHub

最后更新:2026-08-21

准备好开始创作了吗?

「让世界级的 AI 属于每一个人。」—— Bruce Yang。完全免费,不用信用卡,也不要高性能显卡,零成本做出你的第一支 AI 视频。想用 Agnes AI 的免费视频模型?从这里开始就行。

克隆 GitHub 仓库,两分钟即可启动