儘管 ChatGPT、NotebookLM、Copilot 等 AI 工具非常強大，但許多公司在使用上仍有許多隱私疑慮。

所以今天想跟大家分享一款能離線或在內網使用的 AI 工具 ── PrivateGPT，在搭配 llama 這個開源模型後，儘管他不像 ChatGPT 那麼學識淵博，但在基礎對話與文件檢索的能力上已經足夠日常工作使用。

開始閱讀前先提醒一下大家，這個工具的安裝有點複雜，建議具備相關程式背景知識，過程遇到非預期的錯誤實屬正常。

儘管官網文件很詳細，但總是有文件外的問題發生，做好心理準備後就可以開始了！

文章大綱

一、安裝前置環境（Python、Terminal、Git、VSCode）
二、安裝 PrivateGPT
三、安裝 Ollama
四、啟動 PrivateGPT
五、體驗離線與文件對話的功能
六、安裝過程可能會遇到的問題
七、總結：目前 RAG 會遇到的問題＆使用建議

一、安裝前置環境（Python、Terminal、Git、VSCode）

• Python：官方建議安裝 3.11 的版本，官網
• Terminal：使用哪個終端機都可以，筆者是使用 Oh My Zsh
• Git：管理程式版本的工具，官網
• VSCode：方便編輯相關設定檔案，官網

筆者的電腦環境為： MacBook Pro，Apple M1 MAX 晶片，macOS 為 15.0.1

二、安裝 PrivateGPT

STEP 1：用 Git 下載專案

git clone https://github.com/zylon-ai/private-gpt
cd private-gpt

STEP 2：安裝 Poetry 來下載相關資源

本文以 Mac 安裝步驟為主，Windows 可以參考官網

curl -sSL https://install.python-poetry.org | python3 -

將 Poetry 加入你的指令，並確認他安裝成功。

export PATH="/Users/lindingyuan/.local/bin:$PATH"
poetry --version

STEP 3：安裝 make 來跑 scripts

brew install make

三、安裝 Ollama

STEP 1：到官網下載，並安裝到電腦（根據網路環境不同，可能要安裝一段時間）。

STEP 2：安裝完成後，請記得關閉這個應用程式，然後透過 Terminal 來執行 Ollama。

ollama serve

STEP 3：原本的 Terminal 不要關閉，再開一個 Terminal 來安裝 PrivateGPT 所需要的資源。

poetry install --extras "ui llms-ollama embeddings-ollama vector-stores-qdrant"

四、啟動 PrivateGPT

如果安裝一切順利，接下來執行下面的指令就可以體驗 PrivateGPT & ollama 的強大了！

PGPT_PROFILES=ollama make run

如果順利的話，透過連結: http://localhost:8001 就可以訪問嚕！

目前預設使用的 llama 模型是 3.1，你可以進去專案文件，編輯 settings-ollama.yaml 的內容，將它改成最新的版本（筆者撰寫文章時，最新版本為 3.2）。

調整完要關閉重啟才會生效喔！

五、體驗離線與文件對話的功能

PrivateGPT 有幾種模式供大家使用：

• RAG: 從選擇的文件中取得答案。
• Search: 從選擇的文件中尋找資訊。
• Basic: 與使用的 LLM（ex: llama3.2）聊天，不會參考文件資訊。
• Summarize: 從選擇的文件提取摘要。

過去將公司的需求規格書、會議記錄上傳到雲端的 AI 平台會有資安方面的疑慮。

但現在 PrivateGPT 就解決了這個問題，這邊我上傳了 10 份會議記錄(用 AI 生成的模擬資料)，向大家展示他在 RAG 這個領域的表現。

筆者測試過多種情境後，體驗的結果是「尚可使用」，想擁有良好體驗需要再做很多人為的設計；目前跟 NotebookLM 相比，還有很大的差距。

關於 NotebookLM 可以參考這篇文章

另外 llama3.2 的基礎對話能力其實已經表現得挺不錯了。

六、安裝過程可能會遇到的問題

最後分享筆者在安裝過程中遇到的問題。

問題：執行 make run 時出現「xcrun: error: invalid active developer path (/Library/Developer/CommandLineTools)…」錯誤

解決方案：執行 xcode-select –install 便可安裝。

安裝過程有點久，請耐心等候…

七、總結：目前 RAG 會遇到的問題＆使用建議

今年年初，筆者分享過 GPT4All 這款 AI 工具；體驗上 GPT4All 較適合個人使用，而 PrivateGPT 則適合企業。

而他們是否足夠聰明，很大程度是跟你選擇的 Model 有正相關，因為能接受的 max_new_tokens、context_window 極限值不同。

下面分享幾個目前 RAG 工具會有的問題：

• 不懂裝懂：可能這份文件中明明缺少這些資訊，但他卻煞有其事的給出資訊，你可以透過：「如果不確定答案，直接告訴我你不知道」的 Prompt 減少這類錯誤。
• 沒有抓到正確的答案：可能明明有答案，但 AI 對內容的權重排序錯誤導致答案錯誤（比如他以為目錄就是解答，但實際上應該到章節內找答案），可以嘗試縮小檢索範圍來提升準確率。
• 回答不全面：你可能需要 A、B、C 文件的綜合資訊，但他給的內容遺漏許多細節，這邊會建議每個文檔分開詢問。
• 答案錯誤或相互矛盾：如果來源品質本身就不好，那就不要期待他能給出多好的答案；建議先做資料清洗，以維持來源品質。

其實 NotebookLM 官方有表明不會將個人資料用於訓練 NotebookLM，因此企業除非有很強的 AI 人才了解如何優化模型提高輸出品質，否則 NotebookLM 也許是目前的最優解。

如果你想更全面的掌握生成式 AI 工具，歡迎購買筆者出版的新書，他將幫助您在 AI 的浪潮中站穩腳步，並在未來的職場競爭中佔據優勢！

也歡迎 Follow 筆者的部落格，我會持續分享最新 AI 工具，目前已有超過 80 篇 AI 相關文章等你來看！

使用 ChatGPT 等 AI 聊天機器人時，我們會被提醒不可上傳個人、公司的隱私資料。

儘管 ChatGPT、Copilot 有推出企業方案，宣稱不會將客戶的資料拿去訓練，但很多公司對此還是持保留態度。

因此在本地安裝 LLM 大語言模型，即使沒有網路也能使用的 GPT4All 也許是個不錯的替代方案，他在 Windows、Mac、Ubuntu 都能輕鬆使用。

文章大綱

▋STEP 1：下載 GPT4All
▋STEP 2：安裝 GPT4All
▋STEP 3：安裝 LLM 大語言模型
▋STEP 4：開始使用 GPT4All
▋STEP 5：調整 GPT4All 設定
▋Bonus：指定對話的文件（LocalDocs）

STEP 1：下載 GPT4All

GPT4All 的操作介面跟 ChatGPT 很像，你也可以將聊天記錄保存在自己的電腦，進入官網後挑選自己的作業系統下載就好：

GPT4All Free, local and privacy-aware chatbots gpt4all.io

往下滑一些會看到不同模組（Model）的效能測試數據。

STEP 2：安裝 GPT4All

在安裝上，只要一直按「Next」下一步就好。

同意使用者條款要打勾才能下一步

➤ 小提醒：如果官網最新的版本有問題，可以去官方 Github 下載穩定版（筆者下載的是 2.5.4）

Releases · nomic-ai/gpt4all gpt4all: open-source LLM chatbots that you can run anywhere - Releases · nomic-ai/gpt4all github.com

STEP 3：安裝 LLM 大語言模型

打開 GPT4All 時，他會先詢問你是否要分享數據來改善 GPT4All，如不想就選擇 No（筆者建議）。

然後就會出現下載 LLM 大語言模型的列表，上面會說明這個模型擅長的領域（聊天、寫程式）、由哪間公司訓練、是否能商用，並且提供檔案大小、RAM 需求、參數等資訊，通常檔案越大的效果越好。

列表中也有 ChatGPT-3.5、ChatGPT-4 可以選擇，不過需要使用 OpenAI API Key，如果使用這個選項就意味著需要連網與付費。

這邊我挑選 Orca 2（Full）這個由微軟訓練的模型來實驗。

➤ 小提醒：如果你直接下載網路上模型，只要把檔案放到上圖 Download path 的目錄下就可以嚕。

STEP 4：開始使用 GPT4All

下載完後，就可以在聊天界面中看到模型嚕～

這邊我就先用「請假信」初步測試給大家看看。

表現的並不是很好，我們再來測試一下「寫程式」的能力。

基礎程式的表現尚可，但…情境複雜一點的就不行了。

看起來寫得有模有樣，不過實際上是錯的，但這個題目 GPT-3.5 可以輕鬆答對。

STEP 5：調整 GPT4All 設定

點擊上方的「齒輪」，可以進一步調整 GPT4All 的設定。

Model（調整模型參數）

• System Prompt：這是對話開始前會執行的指令，你可以在這邊設定 AI 要扮演的角色（ex:翻譯員、工程師），這邊有很多優秀的 Prompt 可以參考: https://github.com/f/awesome-chatgpt-prompts
• Prompt Template： 設計 AI 要如何回應你，如果你希望 AI 都以中文回覆，就可以加上「用繁體中文回應。」
• Generation Setting：如果沒有特別需求，筆者並不建議調整；另外 Max Length 儘管可以調整，但如果超過模型可以承受的長度，他是不會理你的。

下面我讓他扮演詩人（poet）的角色，並用「love」這個主題來作詩。

Application（基礎設定）

• Theme：調整主題為深色（Dark）、淺色（Light）。
• Font Size：字體大小。

Bonus：指定對話的文件（LocalDocs）

如果想上傳自己的文件，就需要先去下載對應的 Model。

在 LLM 列表中選擇「SBert」這個模型來安裝。

點擊齒輪後，在 LocalDocs 分頁透過 Browse 選擇資料夾，點擊 Add 便可新增文件；他支援大多數的文件格式（doc/pdf/txt/html/xls/csv/json…）。

新增後的的路徑會出現在下方。

然後我們開一個新的對話來實驗看看，這邊要把對應的 Local Documents 勾選才會生效喔！

下面可以看到 AI 的回答會參考我給予的文件。

不過這部分測試下來，如果把它當成「關鍵字查詢」的工具還算堪用；若想做更進階的應用，像是整合、發想、摘要，AI 的表現都不太好。

總結

跟官方的 GPT-4 相比，他真的蠻弱（笨）的；這邊分享筆者在體驗後看到的優缺點：

• 優點：可以不連網使用、隱私性較高、免費。
• 缺點：回答速度較慢、無法回答太長的內容、回覆品質較差、理解問題能力較差。

如果公司禁止使用 ChatGPT、Bard 等需要連網的 AI 工具，或是你有許多隱私資訊需要處理；也許 GPT4All 會是一個可行的替代方案。大家可以多測試幾個 Model，比較一下各自的差異。

➤ 小提醒：筆者並沒有仔細研究裡面的程式碼，若打算上傳機敏資料，請自行評估風險。

想將 AI 導入自己的職場與生活嗎？歡迎購買筆者出版的新書，幫助您在 AI 的浪潮中站穩腳步，並在未來的職場競爭中佔據優勢！