# Midjourney + Gen-2 聯手將圖片轉成唯美動畫

- 作者：林鼎淵（Dean Lin）
- 網址：https://deanlin.net/blog/202307/midjourney-runway-gen2-animation/
- 發布：2023-07-29
- 主題：AI 實戰
- 標籤：Midjourney、Gen 2、Runway、AI、Animation
- 摘要：Midjourney 是一款輸入關鍵字就能產出唯美圖片的工具，而 Gen-2 可以讓靜態的圖片動起來；那如果將這兩款工具結合，是否能產生令人歎為觀止的唯美動畫？

Midjourney 是一款輸入關鍵字就能產出唯美圖片的工具，而 Gen-2 可以讓靜態的圖片動起來；那如果將這兩款工具結合，是否能產生令人歎為觀止的唯美動畫？

結果是否跟我們想的一樣呢？就讓筆者來實際操作看看！

## STEP 1：用 Midjourney 產生圖片

> 目前 [Midjourney](https://www.midjourney.com/) 需要付費才能使用，如果這是你第一次認識 Midjourney，可以參考筆者先前分享的[文章](https://deanlin.net/blog/202301/midjourney-getting-started/)；如果你沒有 Midjourney 帳戶，透過 DALLE 或是使用筆者在後面提供的圖片也可以體驗。

筆者的 Prompt 為「`**musical imitation –ar 16:9**`」

## STEP 2：註冊 Runway 帳號

**Runway 官網**：[https://runwayml.com/](https://runwayml.com/)

可以使用 Google 帳號 or 其他方案來註冊，成功後會詢問你是否要訂閱他們的最新資訊。

然後會有彈窗顯示目前的付費方案，我們先選擇「Free」來嘗試看看。

## STEP 3：使用 Gen-2 模型，將圖片轉成動畫

這篇文章的目的是讓靜態圖片動起來，所以我們選擇右上角的「Image to Video」。

進入後你會看到右上角顯示「105s left」，這是指你可以產生的影片秒數。

在 Gen-2 的模式下，可以使用「上傳圖片」或搭配「輸入文字」來產生影片，這邊我們採用**上傳圖片**的方案，點擊「Generate」後便會開始生成。

> [用文字產生影片的教學文章在這裡](https://deanlin.net/blog/202307/runway-gen2-text-to-video/)。

  你會發現右上角的 105s 變成 101s 惹

下面就是圖片轉為影片的結果喔！目前 Gen2 只能產出 4 sec 的影片；如果你想要讓影片更長，可以用最後一張圖當基底讓他產生。

  **musical imitation — ar 16:9**

## 更多案例展示

下面是筆者將圖片轉為動畫的各種實驗，大家可以先瀏覽看看，最後我再分享自己的心得。

### 場景

  A beautiful place wallpaper — ar 16:9

### 可愛動物（有點魔性）

  **The rabbit and his two friends are crazing Sprinkle banknotes towards the sky, the picture is full of banknotes and celebrate New Year , 3d , shiny , cute , painting by ghibli studio — ar 16:9**

### 人像

  a young male person with silver hair standing on the beach, in the style of sandara tang, piratepunk, karol bak, video, white and amber, hiroshi nagai, enchanting — ar 128:71

## 結語

嘗試各種素材後，我發現了以下規則：

- 圖片不要有太多元素，當細節太多時，哪塊會成為動畫完全憑運氣。
- 人物盡量只挑上半身，不然產出的影片會很獵奇。
- 多種素材測試下來，場景的表現是最好的。

下面分享一些悲劇的案例：

  在雲端拉小提琴結果摔下去

  原本希望在沙漠前行，結果變成了鬼步

雖然部分結果不如預期，但這些成果也足夠驚人了；從筆者的角度來看，AI 將對影視產業產生巨大的衝擊，就像綠幕剛誕生的時候一樣。

延伸閱讀：[AI 實戰](https://deanlin.net/categories/ai/)

**想將 AI 導入自己的職場與生活嗎？歡迎[購買筆者出版的新書](https://www.books.com.tw/products/0011004216)**，幫助您**在 AI 的浪潮中站穩腳步，並在未來的職場競爭中佔據優勢！**

  [https://www.books.com.tw/products/0011004216](https://www.books.com.tw/products/0011004216)

---

關於作者：林鼎淵（Dean Lin），台灣的生成式 AI 企業內訓講師、外商資安公司軟體專家，也是生成式 AI 創新學院發起人。出版 7 本書（包含全台第一本 ChatGPT 應用專書），兩度獲得 iThome 鐵人賽佳作，累積上百場授課與顧問經驗。（https://deanlin.net/about/）
引用時請附上原文網址：https://deanlin.net/blog/202307/midjourney-runway-gen2-animation/