開源 · AI 自動剪輯工作區

放好素材,用白話文剪影片

影片、聲音、圖片放進資料夾,跟 AI 說「剪乾淨」「做出完成影片」,它就幫你剪掉講錯的地方、上字幕、加字卡和動畫、配音效。每一步都停下來給你看;不滿意就說一句話、在剪輯台自己調,或勾在修改單上交給 AI 重做。

支援 Claude Code · ChatGPT(Codex) · MiniMax Code · Cursor,以及其他會讀 AGENTS.md 的 Agent

講解講一條有先後的過程,站一個一個亮起來,連接線跟著描出來。
18情境模板
17情境動畫
40字卡動態
9音效
6停點

01 · 怎麼用

用說的就能剪片

不用學剪輯軟體,也不用寫程式。放好素材,用平常說話的方式告訴 AI 要做什麼。

六步流程:放好素材、剪乾淨、構圖與風格、確認分鏡、預覽與修改、輸出與驗收,並標出各階段的停點
一張圖看完整體流程。你準備素材、確認畫面,AI 完成剪輯與動畫;做到重要的地方會停下來給你看。點圖可放大。
  1. 放素材

    講解影片、只有聲音的旁白、螢幕錄影(邊錄邊講的也可以)、截圖照片,各放進對應的資料夾。有講稿的話,字幕會更準。

  2. 說一句話

    「剪乾淨」、「做出完成影片」、「配螢幕錄影」,不用記指令。

  3. 看預覽、再改

    做到重要的地方會停下來給你看,你說「可以」才往下;要改就說哪一段、怎麼改。

剪之前,先在網頁勾一次

說「剪乾淨」後,AI 會先列出要剪的地方,給你一個網址。每一列可以試聽,不想剪的取消勾選就好,勾了就存;確認後才真的剪。

剪輯清單介面實際截圖,數字標記:1 勾選要剪的地方,2 按 ▶ 試聽那一段,3 回到對話說可以
① 勾=剪、取消=保留 → ② 按 ▶ 試聽,紅色是會剪掉的部分 → ③ 回對話說「可以」。黃色的列是 AI 不確定的,建議先聽。截圖使用內建示範講者,點圖可放大。

動畫開工前,先在網頁改分鏡

說「做出完成影片」後,AI 會先列出每一段要放什麼,給你一個網址。畫面上的字可以直接改,呈現方式用下拉選單選,整段不滿意就寫一句補充說明,不用懂任何格式;你說可以,AI 才開始做。

分鏡表介面實際截圖,數字標記:1 下拉選單換呈現方式,2 橘底的字直接改,3 不滿意就寫補充說明,4 回到對話說可以
① 下拉選單換呈現方式(可以先看範例) → ② 橘底的字直接改 → ③ 不滿意就寫補充說明 → ④ 回對話說「可以」。內容存回一份 Markdown,AI 照它製作。截圖使用內建示範畫面,點圖可放大。

02 · 情境動畫

講解講什麼,
畫面就演什麼

AI 照講解的內容挑情境,從現成的模板改,不從零寫。每張卡都是即時預覽,點進去看全尺寸。

看全部情境與音效 → 字卡動態 40 種 →

情境庫裡每張卡都寫了什麼時候用、什麼時候不要用、字數上限。

不用記指令,你說的話就是剪輯指令

「剪乾淨」「做出完成影片」「s05 往左移」「字太多」「換暗色」「輸出完成影片」

03 · 剪輯與修改單

不滿意,
有三種改法

AI 先做一版,你決定要不要改。知道怎麼改就說一句話;字幕、音量、錄影的畫面速度、卡片上的字在剪輯台自己調;說不清楚怎麼改的,勾在修改單上交給 AI 重做。說「打開剪輯台」就能開啟,上方可以切換「剪輯台」與「構圖」。

說一句話s05 往左移

知道要改哪一段、怎麼改。只動那一段,改前改後都存版本,不喜歡可以退回。

剪輯台自己調打開剪輯台

裁剪、調音量、加轉場,改字幕和卡片上的字,錄影可以快轉、減速、定格;AI 做的變速和轉場也畫在時間軸上,看得到也改得了。你改過的地方 AI 不會再改回去。

修改單交給 AI更有質感

點一段、勾想怎麼改,複製一行指令給 AI;改完那段標 ✓,一鍵跳過去看結果。

剪輯台:左邊預覽,右邊分頁是屬性、段落、字幕、修改單,下方時間軸;點一段錄影可以看到分區的畫面速度
剪輯台:點一段錄影,色條上每一區一個速度,時間軸也標出快轉和定格;片段兩端的斜角代表有轉場。右邊分頁可以切到段落、字幕和修改單。點圖看大圖。
  1. 點一段

    在時間軸點一段動畫或螢幕錄影,修改單列出這段的字幕。

  2. 勾想怎麼改

    「以圖像展示為主」「畫出關係」「跟講的話對齊」「更有質感」,或自己寫一句;點了就存。

  3. 複製給 AI

    只複製一行指令。AI 每段派一個子代理一起改,改好停在預覽給你看。

  4. 看結果

    改完的段標 ✓、列出 AI 做了什麼,按「▶ 看結果」跳過去;下次只送還沒改的。

一句話就能改的地方

第 3 列不要剪

哪些地方要剪

剪輯清單網頁逐條列出要剪的句子和原因,每列可以試聽;不想剪的取消勾選,你確認後才剪。

調好了

畫面放大

在「構圖」拖框決定放大多少、講者放哪裡;同頁看字幕、字卡與動畫,拖好就自動存。

s05 往左移

某一段的卡片

移位置、改字、換情境,只動那一段,改前改後都存版本。

s12 重新設計

某一段的動畫

先出新的動畫分鏡給你確認;不喜歡可以退回舊版,還有左右對照影片。

s08 不要音效

音效、配樂

從內建音效庫挑,關掉某一段、調音量、片尾加配樂;一分鐘以上沒音效會自動補。

這集要調光

講者畫面

調光、瘦臉、美顏(磨皮、膚色提亮、淡化黑眼圈)預設關閉,構圖時同一頁就能開;剪輯台也有開關和強度滑桿。

這集換暗色

主色、背景、亮暗

在「構圖」選主色、上傳或挑選 AI 生成的背景,套用這一集;常用的搭配也能做成風格包。

講者設定成林大寶

講者名字

講者介紹卡顯示名字和頭銜、金句卡署名;設定一次,每一集都用。

做成直式短影片

橫式/直式

直拍素材可做 Shorts、Reels、抖音,字幕和版面用直式規格;目前不支援橫拍轉直式。

04 · 運作方式

AI 判斷,程式計算

AI 不自己算秒數,也不從零寫動畫。它看逐字稿決定每一段要怎麼呈現,剩下的時間、版面、響度都交給工作區裡的程式。同樣的素材和分鏡,換哪個 Agent 來做,剪出來都一樣。

AI Agent 做的事

需要理解內容的判斷

  • 看程式列出的重講候選和講稿外的話,決定剪輯清單
  • 每段先問四題:有沒有對得上的錄影、有沒有看得見的東西在動、是不是流程或對比這類結構、是不是只有一句重點
  • 看過每支錄影和圖片、寫下內容和關鍵字;挑錄影、示意動畫、情境動畫或字卡,寫卡片上的字、選插圖和圖示
  • 看截圖判斷哪裡不對,照你的意見改指定的段落

程式做的事

每次結果都一樣的計算

  • whisper 詞級逐字稿,對照講稿找出重講的地方、列出章節起點
  • NG 起訖對齊停頓、auto-editor 初剪
  • 掃螢幕錄影:哪一秒切頁、開視窗、哪裡在等待、哪裡在捲動;找出主軌沒有講者的句子
  • 字幕照講稿斷句,對到每個詞的時間,避開章節前的停頓
  • 動畫每一拍對準講到那個詞,音效對準畫面事件
  • 量版面:字撐破、被裁掉、擋到臉或字幕
  • 人聲調到 −14 LUFS,完成影片驗收格式、長度、響度、黑畫面
// plan.json:AI 只寫「哪一段、用什麼情境、講到哪句」
{ "id": "s02", "scene": "side-panel", "from": "#5", "to": "#7e",
  "slots": { "title": "拍完之後", "items": ["初剪", "轉字幕", "校對"] } }

// 情境動畫:每一拍綁到講到的詞,秒數由 build.mjs 從詞級逐字稿算
const T1 = P.at('#38@兩支');
P.sfx('success', '#41');

#5 是第 5 句字幕,#7e 是第 7 句講完,#38@兩支 是第 38 句講到「兩支」的那一刻。字幕改了、剪輯改了,程式重新對時,AI 不用改數字。

  1. 剪乾淨

    逐字稿對講稿找重講、初剪、照講稿對字幕

    停點 ① 剪輯清單
  2. 構圖

    拖框、調光、選主色與背景,用自己的畫面預覽動畫,全部自動存

    停點 ② 構圖
  3. 分鏡

    每段先判斷畫不畫得出來,再寫情境、版面、動畫分鏡和截圖

    停點 ③ 分鏡表
  4. 定稿

    組成 HyperFrames 專案、量版面、完成影片預覽

    停點 ④ 預覽 · ⑤ 剪輯台
  5. 輸出

    render 成 final.mp4,附驗收截圖與觀影總表

    交片

05 · 換風格

把自己的畫面,
放進動畫裡看

在「構圖」同一頁拖框、調光、選主色與背景,下方動畫直接套入目前播放頭的畫面。選了就自動存,這一集就用你選的風格;調好回對話說「調好了」。

  1. 調整構圖

    在影片上拖框,決定講者的位置和大小,同頁開關調光、瘦臉、美顏。

  2. 選色、換背景

    選主色或輸入色碼。全畫面、側邊欄、章節各有一張背景,拖入或點選上傳即可替換。

  3. 看動畫效果

    用自己的畫面看情境動畫、版型與字卡。移入循環播放,移開看完成畫面;點開可放大看。

  4. 不用按儲存

    構圖、主色和背景都會自動存。已有完成影片時,按「更新預覽」才會做進去;還沒做出完成影片就不用管。

構圖介面實際截圖,數字標記:1 左邊拖框,2 右邊看字幕與字卡位置,3 頁首看存檔狀態和下一步
① 左邊拖框 → ② 右邊看版面 → ③ 頁首寫著「已自動存檔」和下一步。下方還能繼續換主色、換背景、看動畫。截圖使用內建示範講者,點圖可放大。
背景與動畫預覽介面實際截圖:1 左側選主色、背景與 AI 設計方向,2 右側用同一個講者畫面比較情境動畫
① 左邊換色、換圖 → ② 右邊比較動畫。滑鼠移入會播放,點開可放大;選了就自動套用。

背景,也能請 AI 幫你畫

放參考圖、選設計風格,或寫下想要的畫面,按「複製生圖指令」貼給 AI。會產生 A/B/C 三組,每組都有全畫面、側邊欄、章節三張背景,共 9 張。回到構圖頁,三種用途各自挑原本背景或 A/B/C,能混搭,也能隨時比較。

給 AI 主色、參考圖與描述,生成三組九張背景,再按全畫面、側邊欄、章節各自選圖,可混搭,選了就自動套用
三種用途各選一張,不必整組綁在一起。例如全畫面用 A、側邊欄用 B、章節用 C,也能選回原本背景。圖中小圖為選圖邏輯示意。

常用的搭配,存成風格包

主色、子母畫面外框、背景圖可以打包成「風格包」,讓之後每一集共用。內建「預設」和示範用的「藍圖」,亮色、暗色都有;也可以請 AI 照你的品牌色做一包。

預設橘色、米白線稿
藍圖藍色、網格製圖線稿
藍圖+暗色同一包的暗色主題

06 · 搭配剪映

習慣剪映?
拆成素材帶過去

說 「輸出剪映素材」,完成影片會拆成主軌、每段一支有透明通道的 MOV、字幕檔和排法清單,拖進剪映照時間排好,就能接著用你熟悉的方式調整。

章節角標不會輸出,在剪映用文字補。每段約 30 秒 render,整集常常要 10 分鐘以上。

07 · 支援的 Agent

換哪個 Agent 都能用

守則寫在 AGENTS.md,流程寫成 9 支 Skill,每一步都寫成照著做就會的指令。Agent 只要能在你的電腦上執行指令、讀寫檔案就行。

Claude Code

自動讀 AGENTS.md。

環境檢測時把 Skill 裝進工作區的 .claude/skills/。

ChatGPT(Codex)

自動讀 AGENTS.md。

直接讀 .agents/skills/ 的 Skill 原始檔,不用安裝。

MiniMax Code

自動讀 AGENTS.md。

環境檢測時把 Skill 裝進 ~/.minimax/skills/。影片教學用的就是它。

Cursor

自動讀 AGENTS.md。

直接讀 .agents/skills/ 的 Skill 原始檔,不用安裝。

其他 Agent:開工時先跟它說「先讀 AGENTS.md」。ChatGPT 網頁版沒辦法在你的電腦上跑指令,要用 Codex。

08 · 開始

開始使用

工具缺什麼,AI 會照手冊幫你裝,Mac 和 Windows 都有。內建一個範例專案,第一次照著做就有完成影片。

  1. 下載工作區

    到 GitHub 點「Code → Download ZIP」,解壓縮就好。會用 Git 的話也可以 git clone https://github.com/dean9703111/auto-edit-workspace.git。

  2. 用你的 Agent 打開資料夾

    選看得到 AGENTS.md 的那一層,Agent 才讀得到守則。

  3. 檢測環境

    說 「幫我檢測環境」。AI 會先列出要裝的工具(git、Node.js、ffmpeg、whisper、auto-editor、HyperFrames)問你,同意後一步一步裝好。

  4. 開始剪

    說 「剪乾淨 @projects/example」,接著是 「做出完成影片」、「可以了,輸出完成影片」。每到停點 AI 會停下來等你決定。完整提示詞在 PROMPTS.md。

09 · FAQ

常見問題

第一次用之前大家最常問的幾件事。

auto-edit-workspace 是什麼?

一個開源的 AI 自動剪輯工作區。把講解影片、旁白、螢幕錄影、圖片放進資料夾,用白話文跟 AI Agent 說「剪乾淨」「做出完成影片」,就會剪掉講錯的地方、照講稿上字幕、加字卡和情境動畫、配音效,輸出 MP4。

需要會剪輯或寫程式嗎?

不用。所有操作都是跟 AI 用一句話說,例如「剪乾淨」「s05 往左移」「可以了,輸出完成影片」。AI 做到重要的地方會停下來給你看,你同意才往下。字幕、音量、卡片上的字也可以在網頁版剪輯台自己調。

說不清楚要怎麼改,怎麼辦?

打開剪輯台的修改單,在時間軸點那一段,勾「以圖像展示為主」「畫出關係」「更有質感」這類標籤,或寫一句描述,再複製一行指令貼給 AI。AI 每段派一個子代理一起改,改完那段標 ✓、列出做了什麼,按「看結果」就跳過去。

背景一定要自己準備嗎?

不用。有圖可以在構圖頁直接上傳;沒有就選主色、設計風格和描述,按「複製生圖指令」貼給 AI,產生 A/B/C 三組、共 9 張背景。回構圖頁分別挑全畫面、側邊欄、章節的圖,同頁看動畫效果,選了就自動套用。頁面會準備指令,生圖由你使用的 AI 工具完成。

構圖與背景改好後,要按儲存嗎?

不用,都會自動存,也馬上套用到這一集。還沒有完成影片時,後續製作會直接使用;已有完成影片時,頁面會出現「更新預覽」,按了才重新處理底片(長片要十幾分鐘)。

要付費嗎?

工作區本身免費開源(程式碼 MIT 授權),用到的 ffmpeg、whisper、auto-editor、HyperFrames 也都免費。AI Agent 與選用的生圖服務,依你使用的方案計費。

支援哪些 AI Agent?

Claude Code、ChatGPT(Codex)、MiniMax Code、Cursor,以及其他能在你的電腦上執行指令、讀寫檔案、會讀 AGENTS.md 的 Agent。ChatGPT 網頁版不能在電腦上執行指令,要用 Codex。

可以剪直式短影片嗎?

可以,請準備直拍素材,並說「做成直式短影片」。畫布是 1080×1920,字幕、版面、卡片位置都用直式規格,適合 YouTube Shorts、Instagram Reels、抖音;目前還不支援把橫拍素材改成直式。

字幕準確嗎?

先用 whisper 轉詞級逐字稿;有講稿時,字幕一行就是講稿的一行,時間自動對到講話的那一刻,錯字以講稿為準。沒有講稿時照語音斷句、轉成繁體中文。

影片會上傳到雲端嗎?

轉檔、轉字幕、剪接、render 完成影片都在你的電腦上做,影片檔不會上傳。AI Agent 會讀逐字稿、分鏡截圖這些內容來判斷怎麼剪,這些內容會送到你使用的 Agent 服務。

可以搭配剪映繼續剪嗎?

可以。說「輸出剪映素材」,會拆成主軌、每段一支有透明通道的 MOV、字幕檔和排法清單,拖進剪映照時間排好就能繼續調整。

Mac 和 Windows 都能用嗎?

有 Mac 和 Windows 的安裝手冊。說「幫我檢測環境」,AI 會列出缺的工具,你同意後一步一步裝好;作者目前在 Mac 上實測,Windows 歡迎回報使用結果。

只有旁白、沒有畫面的段落怎麼辦?

AI 會先找對得上講解的螢幕錄影或圖片蓋上去;找不到素材,就照講解畫成全畫面的示意動畫,不會留黑畫面。這些段沒有講者,動畫會用滿整個畫面:左右和縮到 87% 的螢幕錄影對齊,下方留給字幕,右上角留給小節角標,錄影和動畫接起來不會跳。

AI 怎麼分析我放的素材?

工具先認主軌(真人錄影、旁白、邊錄邊講的螢幕錄影),找出沒有講者的句子,再掃每支螢幕錄影:哪一秒切頁、開視窗、哪裡在等待、哪裡在捲動。接著 AI 看過每支錄影和每批圖片、寫下內容和關鍵字,工具用關鍵字把素材對到字幕,寫分鏡時就知道哪一句可以配哪一段。預覽時會報告素材用了幾支、哪些沒用到。

只有開頭結尾露臉,中間都是螢幕錄影可以嗎?

可以。開頭結尾的錄影放 camera、中間的旁白放 voice,檔名照順序編號;如果中間是邊錄邊講的螢幕錄影,放 screen 也會自動接進主軌。工具會認出中間沒有講者,不放小視窗,動畫改用全螢幕。

螢幕錄影和講者小視窗會互相擋到嗎?

錄影縮到 87% 放在字幕上方,講者小視窗會自動移進錄影的右下角,不會凸出錄影外面,也不用自己算位置;手機直式、正方形這種窄的素材,小視窗留在旁邊。重點剛好被擋到時工具會提醒,可以推近那一塊,或讓那一段不露臉。

螢幕錄影太慢、太快怎麼辦?

AI 會把等待的地方快轉、要看清楚的地方放慢或定格,並用紅框、箭頭、放大指出重點,露出金鑰或個資的地方打碼。這些都會顯示在剪輯台:點一段錄影,色條上每一區一個速度,你也可以自己切開、改成定格、減速或快轉(最快 8 倍)。講話的時間不變,只改畫面走多快。

觀眾怎麼知道現在講到哪一段?

講稿用 ## 分章、### 分小節,完成影片右上角會一直顯示「章號+目前小節」,子母畫面、全畫面動畫和螢幕錄影都看得到;多步驟的操作,錄影角落另外有 STEP 膠囊標出第幾步。

素材很大,可以放在外接硬碟嗎?

可以。專案資料夾放在外接硬碟,在 projects/ 底下建一個捷徑指過去,提示詞照樣寫 @projects/<專案>。工具會照常讀寫硬碟上的素材和完成影片。