Whisper｜林鼎淵 Dean Lin

在 Local 導入 Whisper 套件，用 Python 免費將 Youtube 影片轉換成逐字稿！

林鼎淵 — Sat, 01 Apr 2023 12:26:52 +0800

如果每次轉逐字稿都使用線上的 Whisper API 會快速消耗 OpenAI 的 Token，要是時常有轉長影片的需求，那可能得花不少錢在上面（雖然他真的很方便）。

所以這篇文章筆者要向大家介紹如何在 Local 環境導入 Whisper 套件的方案，免費將 Youtube 影片轉換成逐字稿！

提醒大家，不要未經授權下載有版權保護的影片喔！

小提醒：雖然原則上按照步驟就能順利完成，但每個人的電腦環境會有些許差異，遇到特殊狀況時，請自行排除（或是問 ChatGPT）。

觀看 Whisper 官方文件

GitHub 官網：https://github.com/openai/whisper

有興趣的朋友可以看圖片，來了解這款套件的訓練方式，這邊筆者就不再贅述。

安裝 Whisper 套件

STEP 1：首先要特別注意的，就是目前這款套件是使用「Python 3.9.9」的版本，如果你安裝的是最新版的 Python，那後續連基礎的安裝就會失敗。

安裝 Python 3.9 版本：brew install python@3.9

STEP 2：如果你在 local 環境已經安裝了其他版本的 Python，就需要切換到 3.9 的版本才能夠順利執行後續安裝，建議直接改 alias 比較快。

vi ~/.zshrc
alias python='python3.9'
alias pip='pip3.9

STEP 3：前面兩個步驟完成後，接下來安裝「通常」就會順利很多。

pip install torch torchvision torchaudio
pip install ffmpeg-python
pip install -U openai-whisper

# windows (https://chocolatey.org/)可使用 choco install ffmpeg
brew install ffmpeg
pip install setuptools-rust

如果想了解每個套件負責的任務是什麼，可以參考官網：https://github.com/openai/whisper#setup

STEP 4：確認是否安裝成功。

在終端機輸入指令：whisper –help，如果出現下面的畫面就代表你安裝成功嚕！

用 Whisper 套件將 Youtube 影片轉換成逐字稿

筆者在前面的文章，已經完成將 Youtube 影片轉換成音檔的程式，接下來我們可以請 ChatGPT 幫我們做程式組合的任務。

請自行安裝 pytube、pydub 的套件。

😀：「下面是我用 Python 寫的 Youtube 影片轉成音檔的程式，我想要在這個基礎上擴充功能，我在後續的對話中會提出自己的需求，請問你可以幫忙嗎？

from pytube import YouTube
from pydub import AudioSegment

# 設定要下載的影片 URL
url = "https://www.youtube.com/watch?v=IvOdTbIYZs4"

# 建立 YouTube 物件
yt = YouTube(url)

# 取得影片的音軌
audio_stream = yt.streams.filter(only_audio=True).first()

# 下載音軌到指定的路徑
audio_stream.download(output_path="path/to/save/directory", filename="audio")

# 讀取下載下來的音檔
audio_file = AudioSegment.from_file("path/to/save/directory/audio")

# 檢查音檔是否可以正常解碼
print(audio_file)

# 將音檔轉換為 MP3 格式
mp3_file = audio_file.export("path/to/save/directory/audio.mp3", format="mp3")

😀：「我找到了一個可以將 mp3 檔案轉成文字檔的套件，官方範例如下，我要如何將他與我現在的程式結合呢？

import whisper

model = whisper.load_model("base")
result = model.transcribe("audio.mp3")
print(result["text"])

我們在前面已經完成相關的套件安裝了，接下來直接嘗試看看 ChatGPT 組合後的程式是否靠譜。

from pytube import YouTube
from pydub import AudioSegment
import whisper

# 設定要下載的影片 URL
url = "https://www.youtube.com/watch?v=IvOdTbIYZs4"

# 建立 YouTube 物件
yt = YouTube(url)

# 取得影片的音軌
audio_stream = yt.streams.filter(only_audio=True).first()

# 下載音軌到指定的路徑
audio_stream.download(output_path="path/to/save/directory", filename="audio")

# 讀取下載下來的音檔
audio_file = AudioSegment.from_file("path/to/save/directory/audio")

# 檢查音檔是否可以正常解碼
print(audio_file)

# 將音檔轉換為 MP3 格式
mp3_file = audio_file.export("path/to/save/directory/audio.mp3", format="mp3")

# 讀取 MP3 檔案，轉成文字檔案
model = whisper.load_model("base")
result = model.transcribe("path/to/save/directory/audio.mp3")
print(result["text"])

SETP 1：建立一個youtube-local-whisper.py的檔案，貼上 ChatGPT 的程式。

SETP 2：在終端機輸入python youtube-local-whisper.py，然後稍等一段時間…就可以見證奇蹟啦！

儘管有成功轉換逐字稿，但這個品質真的有點悲劇。

提升轉出的逐字稿品質

在程式中，預設的 model 是 base 模型，實際上他有提供這些模型供我們選擇：「tiny/base/small/medium/large」

不過越往上，對電腦的需求越高，花費時間越多，我們可以先看一下官方提供的對照表：

除了 model 的選擇外，另一個是「語言」，如果一開始有設定好也能提升辨識的準確度（ex：中文是「zh」）。

有興趣的朋友可以看一下套件目前提供的語言列表：https://github.com/openai/whisper/blob/main/whisper/tokenizer.py

下面是筆者將語言調整成「zh」，並選擇「medium」這個 Model 優化的程式（除非你電腦性能超級優秀，否則選擇 large 會等到天荒地老）：

from pytube import YouTube
from pydub import AudioSegment
import whisper

# 設定要下載的影片 URL
url = "https://www.youtube.com/watch?v=IvOdTbIYZs4"

# 建立 YouTube 物件
yt = YouTube(url)

# 取得影片的音軌
audio_stream = yt.streams.filter(only_audio=True).first()

# 下載音軌到指定的路徑
audio_stream.download(output_path="path/to/save/directory", filename="audio")

# 讀取下載下來的音檔
audio_file = AudioSegment.from_file("path/to/save/directory/audio")

# 檢查音檔是否可以正常解碼
print(audio_file)

# 將音檔轉換為 MP3 格式
mp3_file = audio_file.export("path/to/save/directory/audio.mp3", format="mp3")

# 讀取 MP3 檔案，轉成文字檔案
model = whisper.load_model("medium")
result = model.transcribe("path/to/save/directory/audio.mp3", language='zh')
print(result["text"])

這次輸出的結果總算是比較接近預期的了（真的要等一段時間喔…）。

如果覺得看起來眼花，那就交給 ChatGPT 幫你整理一下吧！

😀：「幫我改錯字、分段、加標點符號，讓內容更通順：[逐字稿]」

大家可以發現裡面的文字不是百分百正確，品質還是需要自己把關的喔！

結論：優化還是需要一定的專業水平

如果是一個 0 基礎的人，我會更建議使用筆者的另外一篇文章，來實作 Youtube 轉逐字稿的功能。

因為在 Local 環境導入 Whisper 真的還是有一些技術門檻，光是環境設定的部分，就可能讓沒經驗的人經歷「困惑 ➝ 絕望 ➝ 投降」的 3 個階段；不過，如果能順利設定完成，那將給自己帶來巨大的成就感。

儘管初步的程式，我們可以靠 ChatGPT 幫我們組合出來；但因為 Whisper 畢竟是一款新的套件，如果想要對他優化，還是需要具備閱讀技術文件的能力。

有了 AI 輔助，工程師就能把更多的精力放在優化而非基礎建設上，相信在不久的將來，M 型化會越來越明顯。

AI 實戰實測生成式 AI 工具、Vibe Coding 與自動化流程的第一手心得，把 AI 變成每天都用得上的即戰力。林鼎淵 Dean Lin

想將 AI 導入自己的職場與生活嗎？歡迎購買筆者出版的新書，幫助您在 AI 的浪潮中站穩腳步，並在未來的職場競爭中佔據優勢！

https://www.books.com.tw/products/0011004216

進階應用！詢問 ChatGPT 如何用 Python 將 Youtube 影片轉換成逐字稿（OpenAI 的 whisper）

林鼎淵 — Fri, 31 Mar 2023 13:50:25 +0800

上一篇文章中，筆者靠 ChatGPT 成功將 Youtube 影片轉換成音檔（mp3），在這篇文章中，我會分享如何用 OpenAI 提供的 whisper api 將音檔轉成逐字稿。

如果沒有程式基礎的朋友，建議先從上一篇文章開始閱讀。

提醒大家，不要未經授權下載有版權保護的影片喔！

目前的 ChatGPT 資料截止於 2021 年 9 月，如果用到最近才新增的技術，我們還是要先到官網查看文件。

OpenAI 技術文件：https://platform.openai.com/docs/guides/speech-to-text

儘管 ChatGPT 不知道未來世界的資料，但我們還是可以請他幫我們將程式重組。

😀：「下面是我用 Python 寫的 Youtube 影片轉成音檔的程式，我想要在這個基礎上擴充功能，我在後續的對話中會提出自己的需求，請問你可以幫忙嗎？

from pytube import YouTube
from pydub import AudioSegment

# 設定要下載的影片 URL
url = "https://www.youtube.com/watch?v=IvOdTbIYZs4"

# 建立 YouTube 物件
yt = YouTube(url)

# 取得影片的音軌
audio_stream = yt.streams.filter(only_audio=True).first()

# 下載音軌到指定的路徑
audio_stream.download(output_path="path/to/save/directory", filename="audio")

# 讀取下載下來的音檔
audio_file = AudioSegment.from_file("path/to/save/directory/audio")

# 檢查音檔是否可以正常解碼
print(audio_file)

# 將音檔轉換為 MP3 格式
mp3_file = audio_file.export("path/to/save/directory/audio.mp3", format="mp3")

😀：「我找到了一個可以將 mp3 檔案轉成文字檔的套件，官方範例如下，我要如何將他與我現在的程式結合呢？

import openai
audio_file= open("/path/to/file/audio.mp3", "rb")
transcript = openai.Audio.transcribe("whisper-1", audio_file)

有了 ChatGPT 的提示後，我們可以按照下面的步驟操作。

SETP 1：安裝新套件：pip3 install openai。

如果上一篇文章沒有安裝到，請記得順便安裝不然會有錯誤訊息喔：pip install pydub pytube

SETP 2：建立一個檔案youtube-to-text.py，然後貼上 ChatGPT 提供的程式。

from pytube import YouTube
from pydub import AudioSegment
import openai

# 設定要下載的影片 URL
url = "https://www.youtube.com/watch?v=IvOdTbIYZs4"

# 建立 YouTube 物件
yt = YouTube(url)

# 取得影片的音軌
audio_stream = yt.streams.filter(only_audio=True).first()

# 下載音軌到指定的路徑
audio_stream.download(output_path="path/to/save/directory", filename="audio")

# 讀取下載下來的音檔
audio_file = AudioSegment.from_file("path/to/save/directory/audio")

# 將音檔轉換為 WAV 格式
wav_file = audio_file.export("path/to/save/directory/audio.wav", format="wav")

# 使用 OpenAI 的 Audio API 將音檔轉成文字
openai.api_key = "YOUR_API_KEY"
with open("path/to/save/directory/audio.wav", "rb") as f:
    transcript = openai.Audio.transcribe("whisper-1", f)

# 印出轉換後的文字
print(transcript)

我們原本是將 Youtube 轉換成 mp3 檔，而這次 ChatGPT 改寫的過程中，把它轉換成了 wav 檔；並且對我們提供的範例程式做了一定程度的改寫（ex：告訴我們要自己填入”YOUR_API_KEY”）。

SETP 3：請先去 https://platform.openai.com/account/api-keys 申請自己的 API Key，將 YOUR_API_KEY 替換成自己的。

小提醒：將 API Key 放入環境變數的作法更好，不過這篇文章以 Demo 目的為主，讀者切記不要把自己的 API Key 洩露出去了。

SETP 4：輸入 python youtube-to-text.py 執行程式，結果遇到了錯誤如下：

看不懂錯誤訊息沒關係，直接貼到 ChatGPT。

原來是檔案大小的問題，這邊筆者將 10 秒的時間拉長到 100 秒，避免聲音切割過度。

from pytube import YouTube
from pydub import AudioSegment
import openai

# 設定要下載的影片 URL
url = "https://www.youtube.com/watch?v=IvOdTbIYZs4"

# 建立 YouTube 物件
yt = YouTube(url)

# 取得影片的音軌
audio_stream = yt.streams.filter(only_audio=True).first()

# 下載音軌到指定的路徑
audio_stream.download(output_path="path/to/save/directory", filename="audio")

# 讀取下載下來的音檔
audio_file = AudioSegment.from_file("path/to/save/directory/audio")

# 切割音檔成多個小檔案
chunk_size = 100 * 1000  # 100 秒
chunks = [audio_file[i:i+chunk_size] for i in range(0, len(audio_file), chunk_size)]

# 使用 OpenAI 的 Audio API 將每個小檔案轉成文字，然後合併在一起
openai.api_key = "YOUR_API_KEY"
transcript = ""
for chunk in chunks:
    with chunk.export("temp.wav", format="wav") as f:
        result = openai.Audio.transcribe("whisper-1", f)
        transcript += result["text"]

# 印出轉換後的文字
print(transcript)

再輸入一次 python youtube-to-text.py 執行程式，接著就順利取得逐字稿啦！！！！

大家可以發現裡面的文字不是百分百正確，品質還是需要自己把關的喔！

結論：要懂得組合應用

相比於上一篇，這篇文章的門檻比較高，像是多了：

前往 OpenAI 官網，取得所需技術文件
需要一定的英文閱讀能力（雖然你也可以請 ChatGPT 幫你翻譯）
讓原有程式基礎上，疊加新應用的提問技巧

不過儘管我們取得了逐字稿，但這份逐字稿真的有點醜，閱讀起來有點困難。

這邊我們可以直接把他丟到 ChatGPT，請他幫忙分段落、整理摘要。

😀：「幫我改錯字、分段、加標點符號，讓內容更通順：[逐字稿]」

大家可以發現裡面的文字不是百分百正確，品質還是需要自己把關的喔！

😀：「幫我擷取 300 字摘要：[逐字稿]」

摘要的內容有點赤裸 😅，不過當年筆者參加比賽的確就是為了出書。

不過手動貼到 ChatGPT 還是有點麻煩，下一篇筆者就來分享如何透過 OpenAI 的 GPT-3.5 模型，幫我們整理逐字稿內容吧！

AI 實戰實測生成式 AI 工具、Vibe Coding 與自動化流程的第一手心得，把 AI 變成每天都用得上的即戰力。林鼎淵 Dean Lin

想將 AI 導入自己的職場與生活嗎？歡迎購買筆者出版的新書，幫助您在 AI 的浪潮中站穩腳步，並在未來的職場競爭中佔據優勢！

https://www.books.com.tw/products/0011004216