Jimeng(Dreamina)ワークフロー使用ガイド(試験機能)
「映像 + ネイティブ音声」の生成だけをJimeng(Dreamina、ByteDanceのAI動画生成サービス)に任せ、絵コンテ・セリフ・字幕・結合は本プロジェクトが担当します。Agnes APIが頻繁に503を返すときの代替ルートです。
Agnesの無料動画キューはピーク時間帯にHTTP 503(video queue is full)を返し続け、待ち時間は十数分におよぶため、自動モードは動画生成のステップで止まってしまいがちです。Jimeng(Dreamina)には別の道があります。毎日クレジットが付与され、Seedance系の動画モデルはネイティブ音声に対応し、映像も安定しています。そこでv7.6では「外部素材モード」を追加しました。絵コンテ → ナレーション → 字幕 → 結合というパイプラインはそのままに、動画生成のステップだけをJimengに置き換えるという仕組みです。映像とネイティブ音声はJimengが担い、編成・正規化・字幕・合成は本プロジェクトが担います。この機能は現在も試験段階です。ぜひお試しいただき、この手順で作った作品もお送りください。
試験機能について
外部素材モードはv7.6から提供され、現在も改良を続けています(チェックポイントのプロンプト、一括インポート、字幕の配置は今後も変更される可能性があります)。問題が発生した場合はタスクIDを添えてご報告ください。もっと使いやすい無料の動画生成ツールがあれば、ぜひ教えてください。対応を検討します。
Jimengの得意分野と苦手分野
👍
- ✓毎日クレジットが付与されるので、まず無料で完成動画を試せる
- ✓ネイティブ音声付きでセリフや環境音が映像と同時に生成され、TTSの工程を丸ごと省ける
- ✓動画生成が安定しており、キュー頼みの運任せより完成率が格段に高い
⚠️
- –無料クレジットは多くなく、使い切ると課金するか翌日の更新を待つ必要がある
- –無料版は下位モデルしか使えず、画質と細部は有料枠に劣る
- –Jimengが映像に描き込む字幕はしばしば崩れる(誤字・字形の破綻)ため、画面内字幕を任せてはいけない
自動モード・手動モードとの違いは1か所だけ
| 工程 | 自動 / 手動モード | 外部素材モード(Jimeng) |
|---|---|---|
| 絵コンテとプロンプト | 本プロジェクトが生成 | 本プロジェクトが生成し、さらに「Jimengにそのまま貼り付けられる」シーン別プロンプトも用意 |
| 映像と音声 | Agnes動画モデル(APIが頻繁に503、ナレーションのみ本プロジェクトのedge_ttsで生成) | Jimengが生成(ネイティブ音声付き)。シーンごとにmp4を書き出して一括インポート |
| 字幕 | ナレーションの単語単位タイムスタンプに合わせる(高精度) | 各絵コンテの実尺から推定して合わせる(ずれる可能性があり、字幕チェックポイントでの確認が必要) |
| 結合と完成 | 本プロジェクトが結合 | 本プロジェクトが正規化 + 元音声トラックを保ったまま結合 + 字幕を焼き込み |
エンドツーエンドの流れ
タスク作成時に「🌐 外部素材」を選び、「動画生成ツール = Jimeng」を設定したら、あとはパイプラインを自動に、生成をJimengに任せるだけです。
タスクを作成し「外部素材」を選択
実行モードは3択です。⚡ 自動 / ✋ 手動 / 🌐 外部素材。3つ目を選び、展開されたオプションで動画生成ツールが「Jimeng(Dreamina)」になっていることを確認します。
音声ソースと字幕ソースを設定
音声ソース:動画に付属する音声を使う(推奨。Jimengの元音声トラックを保ち、本プロジェクトはTTSを生成しない)、または本プロジェクトのナレーションを使う(edge_ttsのナレーションで元音声を置き換える)。字幕ソース:ナレーション(既定)または人物セリフ(各シーンのセリフから字幕テキストを取得)。
絵コンテのチェックポイントでプロンプトをJimengへ
本プロジェクトはまず絵コンテを最後まで生成します。「🎬 Jimeng連携」カードには映像・音声・尺の制約を含む創作指示が表示されます。「動画クリップ(videos)」チェックポイントでは、カード内のプロンプトが本プロジェクトの確定済み絵コンテ台本になっており、【シーン i/N · 尺】で番号付けされているので、そのままJimengに貼り付けてパートごとに生成できます。
シーンごとに動画を書き出す
各パートをJimengで生成したらmp4として書き出します。Jimengの絵コンテ動画の尺は5s / 10sで、プロジェクトの尺(4 / 5 / 6 / 8 / 10 / 12秒)と一致しない場合は、インポート後に実尺で合わせるため完成動画が切り詰められることはありません。
一括インポートで戻す
動画クリップのチェックポイントで「一括インポート」を使い、複数のmp4を一度に選択します。システムはタスクの解像度・30fps・H.264/AACに自動で正規化し、尺・解像度・フレームレート・音声トラックの有無を1本ずつ表示します(音声がない場合は黄色で警告されますが、作業は止まりません)。
字幕チェックポイントで確認してから結合
「動画に付属する音声を使う」を選ぶと、ナレーションのチェックポイントは自動的に通過し(一時停止なし)、字幕は各絵コンテの実尺を累積オフセットとして生成されます。字幕チェックポイントで区切りとタイムラインを確認し、確定すると本プロジェクトが元音声トラックを保ったまま結合して字幕を焼き込み、final_video.mp4を出力します。
5つのチェックポイントの役割
- 1
絵コンテ scenes
絵コンテ台本とナレーションを確認します。「🎬 Jimeng連携」カードには映像 + 音声 + 尺の制約を含む創作指示が表示され、Jimengや任意のLLMにそのまま渡して詳細化できます。
- 2
参照画像 references
任意です。Jimengが出力した絵コンテ画像をインポートし(scene_1.pngのような名前で)、タスクの解像度に自動で縮小・拡大して中央に余白を補います。クリエイティブ長尺動画では、インポートした画像がそのシーンの参照画像として登録されます。
- 3
動画クリップ videos
中心となるステップです。カード内のプロンプトがJimengにそのまま貼り付けられる絵コンテ台本です。生成後にmp4を一括インポートします。確定前に、各シーンの動画がすべてインポート済みかをシステムが検証し、不足があれば続行しません。
- 4
ナレーション audio
「動画に付属する音声を使う」を選ぶと一時停止せず自動で通過します。「本プロジェクトのナレーションを使う」を選ぶと手動モードと同じ動作になり、ここでナレーションを試聴・再生成します。
- 5
字幕 subtitle
SRTの区切りとタイムラインを確認します。最後の項目が音声トラックを超えないこと、隣接する項目が重ならないこと、中国語は1項目18文字以内であること。Jimeng経由の流れで最も人の目が必要な箇所です。
書き出しファイルの正しい命名方法
インポート時に、システムはファイル名に含まれる「最初の数字N」を使ってそのファイルをN番目のシーンに割り当てます。たとえばscene_1.mp4を書き出すと1番目のパート(scene_0/video.mp4)に入り、scene_3.mp4を書き出すと3番目のパート(scene_2/video.mp4)に入ります。
- →scene_1.mp4 → 1番目のパート(scene_0/video.mp4)
- →scene_3.mp4 → 3番目のパート(scene_2/video.mp4)
注意点が2つあります。数字は1からシーン数までの間にある場合だけ採用されるため、年やタイムスタンプを含むファイル名(例:20261015.mp4)が誤って2026番目のシーンとして扱われることはありません。ファイル名に使える数字がない場合は、アップロード順に割り当てられます。手動で指定したい場合は、インポート時に明示的な対応表(例:1 → scene_2)を渡すと、1 つ目のファイルを 3 番目のシーンに置けます。原稿タイプのタスクは para_N ディレクトリを使い、デジタルヒューマンのタスクには clip/clip.mp4 が 1 本しかありません。
- •書き出し時は必ず音声トラックを残してください。Jimengの「音声を生成」をオンにしてから書き出さないと、完成動画が無音になります。
- •本プロジェクトはすべての絵コンテの解像度が同じであることを求めます。Jimengの書き出しサイズがまちまちでも問題ありません。インポート時に均一に縮小・拡大し、中央に余白を補います。
- •同じバッチに別タスクのファイルを混ぜると最もずれやすいので、インポート後に表示されるシーンのマッピングを一度確認してから確定してください。
つまずきやすい4つの落とし穴
1動画に音が入っていない:9割はJimengから書き出すときに音声が含まれていないか、無音版を書き出しています。音声付きのmp4を書き出し直して再度インポートしてください。インポート時の表示にhas_audioとして直接出ます。
2字幕全体が1〜2秒早い/遅い:字幕は各絵コンテの「実尺」を累積オフセットとして推定しているため、Jimengの発話速度やセリフの長さに差があると誤差が積み重なります。字幕チェックポイントでSRTを手直しするのが一番手軽ですが、Jimengから書き出した字幕を結合して戻すこともできます。
3映像に文字化けした字幕が重なっている:Jimeng内部の字幕はしばしば崩れるので、字幕は任せないでください。プロンプトから字幕の文言を外し、本プロジェクトが統一して焼き込む1層だけにすれば映像はきれいになります。
4クレジットが足りない:まず2〜3シーンの短いタスクを最後まで通し、プロンプト・書き出し命名・インポートの流れに問題がないことを確認してから、長いタスクに進んでください。
試して、作品をシェアしよう
この流れはまだ試験段階で、最も必要なのは実際のユースケースです。短いクリエイティブ長尺動画か原稿動画を1本通して作り、完成動画やスクリーンショットをGitHub Discussionsの「Show and tell」に投稿してください。サイト内のショーケース枠に収録します(絵コンテのプロンプトとJimengの設定を添えていただけると、他の人が再現しやすくなります)。
詳細を知りたい方へ
外部素材モードの完全な説明(チェックポイントごとの成果物マトリクス、一括インポートのインターフェース、正規化ルール)は、プロジェクトリポジトリの手動モード使用ガイドの第5節にあります。各チェックポイント内のカードにも、コピー可能なプロンプトと戻し方の案内がインラインで記載されています。
手動モード使用ガイドを見る →503に遭遇したときの対処順
この順番で試せば、ほとんどの場合3ステップ以内で映像が完成します。
Jimengワークフローよくある質問(Agnes 503 / queue is fullの対処法も解説) →他の無料動画生成ツールをお持ちですか?情報をお待ちしています
本プロジェクトのツール一覧は拡張可能なレジストリです。ツールを追加するにはプロンプトのテンプレート一式と戻し方の案内を足すだけで、流れや合成層を変更する必要はありません。より良い無料の動画生成サービス(Kling、Hailuo、オープンソースのローカルモデルなど)をご存じなら、GitHubでIssueを立ててお知らせください。ツール名、ネイティブ音声の有無、1本あたりの尺、字幕を書き出せるかをお書きください。対応を検討します。
GitHubで提案する →今すぐ1本走らせてみましょう
外部素材モードはデスクトップ版の機能です。ダウンロード後、タスク作成時に「🌐 外部素材」を選ぶだけです。オンラインDemoとWeb版Studioは自動モードを使用します。
関連ページ
Jimengワークフローよくある質問(Agnes 503 / queue is fullの対処法も解説)
AgnesがHTTP 503やvideo queue is fullを返したらどうする?待つべき?別ルートはある?さらに、Jimengワークフローを使う中で最もよく聞かれる質問にお答えします。
手動モードの使い方 — 自動 vs 手動:雰囲気生成か精密な出力か | Agnes Video
Agnes Video Generator の手動モードの使い方:ストーリーボード、参照画像、動画クリップ、ナレーション、字幕、完成動画などのチェックポイントで一時停止し、各成果物を確認・修正してから続行。外部のより強い AI やツールと組み合わせて、明確な期待どおりの出力を実現。自動モードはアイデアから気軽に生成(vibe video generating)に、手動モードは明確な出力目標の微調整に向いています。
Agnes の生成エラー対策:HTTP 503・401・再試行と再開 | Agnes Video
Agnes Video Generator のエラー対処法:HTTP 503「video queue is full」、401「トークンが無効」、失敗・中断した生成のチェックポイント再開、システム要件と API キーの基本。
ナレーションと字幕:音声と字幕を追加する
デジタル人口放送モードにはTTS吹き替えと口パターンの位置合わせが付属しており、コピーを入力して直接映画を作成し、追加の処理を必要としない。普通の文生動画は主流の編集ツールを通じて自分で字幕を追加することができます。この記事では、各モードの吹き替えと字幕機能、具体的な設定手順、完成効果の比較を説明し、解説付きの完全なビデオを迅速に作成するのに役立ちます。
Sources
This page's description of Jimeng's capabilities, the external-asset checkpoints, and the media normalisation rules is based on the following sources.
- 即梦 AI (Dreamina):AI 图片与视频创作平台ByteDance · 即梦官网 (2025)
Jimeng (Dreamina) is the tool that generates picture and native audio in this workflow; its site is the basis for the advantages/trade-offs section of this page.
- agnes-video-generator — 开源 AI 视频生成项目lcy362 · GitHub (2026)
The external-asset implementation (checkpoint prompts, batch import, keep-audio concatenation) follows the project source: core/providers.py, web/routes/video_routes.py and utils/video.py.
- FFmpeg Documentation — 音视频处理官方文档FFmpeg 项目 · ffmpeg.org (2025)
Both normalisation on import (scale-and-pad, uniform frame rate, H.264/AAC) and subtitle burn-in concatenation are done by ffmpeg; parameter semantics follow the official documentation.
信頼性について
この記事は第一線の実践者によって書かれており、主観的な印象による結論ではなく、arXiv論文、メーカー技術報告書、Stanford AI Indexなどの一手のソースをクロスチェックして書いています。
SandGrid@lcy362
Agnes Video Generator 開発者 · フルスタックエンジニア
オープンソースAIビデオ生成ツール「Agnes Video Generator」の著者、インディーズ开発者。プロジェクトはAgnes AIの完全に無料のビデオモデルに基づいており、MITプロトコルはオープンソースで、すでに1,000人以上のクリエイターがゼロコストでAIビデオを生産したことがある。長期にわたってビデオ生成モデルのエンジニアリングと普及に注目しており、記事の内容はすべて第一線の実践と一手の研究から来ています。
GitHub で見る最終更新:2026-08-21