你是做好一件作品，還是完成一項任務

今日目標

1. 了解使用者體驗為什麼重要

1.1 那些不堪回首的共同回憶

1.2 是什麼原因製造出這些體驗的

1.3 有在使用產品的人才會給你最真實的回饋，專案還有哪些地方要改善呢？

2. 優化用手機來看 Google Sheets 的爬蟲資料的體驗

2.1 如何讓手機看 Google Sheets 爬蟲資料時舒服點

2.2 窗口凍結：將最上方的爬蟲日期、左方的粉專名稱欄位凍結

2.3 欄位寬度調整：減少追蹤人數的欄位寬度

1. 了解使用者體驗為什麼重要

讓客戶用的開心他們才會買單

1.1 那些不堪回首的共同回憶

我想每個人都有過類似經驗：

1. 操作系統時讓你感到焦慮
   • 我Ｘ，到底這個系統要怎麼操作啊？為什麼按下去沒反應？到底哪裡弄錯了？
   • 卡在 loading 的畫面已經 10 分鐘，所以我要繼續等嗎？
2. 你想要用的功能會隱身術
   • 我想要用XXX功能，到底他在哪裡才能操作？
   • 為什麼要改版啦？功能都不知道跑去哪了？
3. 每個按鈕都像定時炸彈
   • 所以這個按鈕是什麼意思？是下一步還是送出？
   • 痾…下單了？這不是加入購物車嗎？
4. 懷疑設計者是不是嗑藥
   • 簡訊的驗證碼有 6 碼，可是眼前能輸入的欄位只有 4 碼，是在哈嚕？
   • 線上填完表格後不能儲存只能下載列印後寄給主辦單位，如果要用郵件寄出幹嘛設計成網頁?

1.2 是什麼原因製造出這些體驗的

相信遇到這些經驗的時候大家心裡都會想：這麼爛的東西到底是誰設計出來的啊？他自己真的有用過嗎？

總結發生這些不好的經驗通常都是因為：

1. 沒有了解使用者真正的需求：這是許多外包案的真實狀況，工程師的目標是驗收通過，而承包商也只是為了把事情做完有績效，當甲乙方都不在乎終端使用者的需求時，完成的產品通常不堪入目
2. 經驗不足：很多時候有些報價比較低的案子會交給公司的新人，如果公司也沒有讓前輩在旁邊給予指導會讓這個產品有非常多的漏洞
3. 沒有足夠的測試：有些案子時程非常的趕，在這樣的狀態下通常產品的穩定度很低，且操作時也很容易發生錯誤
4. 經費不足：花大錢的案子不一定做得好，但是錢少的案子基本上都不太好，一分錢一分貨，壓價格的時候一定會喪失品質

1.3 有在使用產品的人才會給你最真實的回饋，專案還有哪些地方要改善呢？

沒有一開始就完美的專案，客戶的需求會在使用的過程中慢慢增加，這個專案也在業主使用的過程中增加了一些需求：

1. 下班後會用手機來看 Google Sheets 的爬蟲資料，操作起來不是很順，想問有沒有好的建議
2. 上班太忙會忘記跑爬蟲程式，能不能指定爬蟲程式在某個時間點自動執行
3. 因為執行爬蟲程式的時候我也要做事情，能不能有個通知提醒我爬蟲執行的狀況

接下來的日子就讓我們把這些需求一一實踐吧！

2. 優化用手機來看 Google Sheets 的爬蟲資料的體驗

原則上你想對 Google Sheets 的任何操作官方都有提供 api 給你，如果你時常會使用到的話請一定要讀懂官方文件，閱讀的技巧可以參考這篇文章喔

2.1 如何讓手機看 Google Sheets 爬蟲資料時舒服點

這個問題分析起來很簡單，主要就是下面兩點：

1. 因為資料存在 Google sheets 上面，資料量一大就很難觀看
2. 手機螢幕小，能呈現的資料不多

後來再跟客戶討論的過程中發現這個問題在使用電腦時也會有，但是使用手機時問題更嚴重，於是我在操作他 Google Sheets 的爬蟲資料時提出了優化方案，讓他在使用上方便許多：

1. 將最上方的爬蟲日期、左方的粉專名稱欄位凍結
   • 這樣在瀏覽時就不需要一直往上確認日期、往左確認他是哪個粉專了
2. 減少追蹤人數的欄位寬度
   • 我們無法改變手機的螢幕寬度，但是改變資料欄位的寬度能讓一個螢幕能呈現更多的資訊

測試環境通常資料量不足，很多問題在資料量逐漸上升的正式環境才會浮現

2.2 窗口凍結：將最上方的爬蟲日期、左方的粉專名稱欄位凍結

我將這個功能合併到建立 sheet 的函式 addSheet，窗口凍結這件事在建立 sheet 時執行一次就夠了

詳細的官方文件請參考窗口凍結

async function addSheet (title, sheet_id, auth) {
  const sheets = google.sheets({ version: 'v4', auth });
  const request = {
    "spreadsheetId": process.env.SPREADSHEET_ID,
    "resource": {
      "requests": [{
        "addSheet": {
          "properties": {
            "title": title,
            "gridProperties": {
              "frozenRowCount": 1,//最上面那一列(爬蟲日期)設定為凍結
              "frozenColumnCount": 1//最左邊那一欄(粉專名稱)設定為凍結
            },
          }
        },
      }]
    }
  };
  try {
    await sheets.spreadsheets.batchUpdate(request)
    console.log('added sheet:' + title)
  }
  catch (err) {
    console.log('The API returned an error: ' + err);
  }
}

2.3 欄位寬度調整：減少追蹤人數的欄位寬度

為了能容納能多的資訊量，所以我們要在插入新欄位 insertEmptyCol 時給他一個合適的欄位寬度

• 提醒你 Google Sheets 的 requests 是可以執行多個要求的，像下面的範例程式中的 requests 就包含 insertDimension、updateDimensionProperties 這兩個

詳細的官方文件請參考欄位寬度調整

async function insertEmptyCol (title, sheet_id, auth) {
  const sheets = google.sheets({ version: 'v4', auth });
  const request = {
    "spreadsheetId": process.env.SPREADSHEET_ID,
    "resource": {
      "requests": [{
        "insertDimension": {
          "range": {
            "sheetId": sheet_id,
            "dimension": "COLUMNS",
            "startIndex": 1,
            "endIndex": 2
          },
          "inheritFromBefore": true
        }
      },
      {
        "updateDimensionProperties": {//這裡是為了修正欄寬
          "range": {
            "sheetId": sheet_id,
            "dimension": "COLUMNS",
            "startIndex": 1,//只需要首欄
            "endIndex": 2
          },
          "properties": {
            "pixelSize": 85//欄位寬度
          },
          "fields": "pixelSize"
        }
      }]
    }
  };
  try {
    await sheets.spreadsheets.batchUpdate(request)
    console.log('update sheet:' + title + ' new column')
  }
  catch (err) {
    console.log('The API returned an error: ' + err);
  }
}

執行程式

1. 在執行程式之前請先把 Google Sheets 的’FB粉專’、‘IG帳號’這兩個 sheet 刪除，因為要觸發 addSheet 才會有窗口凍結的功能

2. 刪除 sheet 後在專案資料夾的終端機(Terminal)執行指令

   yarn start
   

   

3. 執行完畢後確認 Google Sheets 是否有符合今天設定的格式：窗口凍結、欄位寬度調整

   

⏭️ 下個階段

Google Sheets 對爬蟲資料處理的系列文章到這裡告一個段落，接下來我們依照今天提到專案要改善的地方繼續前進，接著來聊聊把排程加入爬蟲專案這個主題吧

ℹ️ 專案原始碼

• 今天的完整程式碼可以在這裡找到喔
• 我也貼心地把昨天的把昨天的程式碼打包成壓縮檔，你可以用裡面乾淨的環境來完成業主要求的需求變更吧
  • 請記得在終端機下指令 yarn 才會把之前的套件安裝
  • windows需下載與你chrome版本相同的chrome driver放在專案根目錄
  • 要在tools/google_sheets資料夾放上自己的憑證，申請流程請參考Day17
  • 調整fanspages資料夾內目標爬蟲的粉專網址
  • 調整.env檔
    • 填上FB登入資訊
    • 填上FB版本(classic/new)
    • 填上IG登入資訊
    • 填上SPREADSHEET_ID

參考資源

1. 了解使用者體驗 (UX) 的第一堂課

在許多人的幫助下，本系列文章已出版成書，並添加了新的篇章與細節補充：

• 加入更多實務經驗，用完整的開發流程讓讀者了解專案每個階段要注意的事項
• 將爬蟲的步驟與技巧做更詳細的說明，讓讀者可以輕鬆入門
• 調整專案架構
  • 優化爬蟲程式，以更廣的視角來擷取網頁資訊
  • 增加資料驗證、錯誤通知等功能，讓爬蟲執行遇到問題時可以第一時間通知使用者
  • 排程部分改用 node-schedule & pm2 的組合，讓讀者可以輕鬆管理專案程序並獲得更精確的 log 資訊

有興趣的朋友可以到天瓏書局選購，感謝大家的支持。

購書連結：https://www.tenlong.com.tw/products/9789864348008

在決定以爬蟲作為主題時有朋友勸我不要寫這類有爭議的主題，但因為以下幾點我還是選了這個主題：

1. 爬蟲道德觀：有些網路文章道德觀崩壞，把一個好的技術變成智慧財產的盜賊
2. 中文資源缺乏，技術過時：中文的教學文章較少，許多範例的技術到今天已經無法使用了
3. 缺乏系統性的整合：網路上的資源相對零碎，學習上缺乏系統性，容易在學習過程中遇到問題而半途而廢

學習爬蟲對我有什麼好處?

• 如果你是工程師
  1. 最直接的好處就是讓你在未來職涯上有更多的選擇
  2. 可以大量訓練你對網頁架構的認知
  3. 當你學會爬蟲時，你就能寫出相對來說反爬蟲的網頁了
• 如果你是行銷廣告、電商小編
  1. 你可以透過爬蟲來了解網路世界在資料這塊的邏輯
  2. 就算你看完文章後還是無法完全掌握，但當你請工程師來撰寫爬蟲時，你能很具體地說出你的需求並與工程師溝通順暢
  3. 我認為掌握分析資料能力的人才最有機會做出能說服公司的策略

今日目標

1. 知道如何選擇適合的爬蟲工具
2. 使用 selenium-webdriver 套件開啟瀏覽器：openCrawlerWeb
3. 解決 windows 無法自動讀取 chromedriver.exe 路徑的問題
   • 寫判斷 Driver 是否設定的函式：checkDriver
4. 將 checkDriver 整合進 openCrawlerWeb

1. 如何選擇適合的爬蟲工具?

在Day5有提到尋找工具的方法，現在我們依序來說明:

1. 官方資源
   • 由於近年 FB & IG 的 api 改版頻繁，加上各式各樣權限的限制導致我們連公開資料都無法得到，所以在這裡我們放棄使用官方提供的 api
2. 網路資源
   • 透過下關鍵字我們可以看到很多人分享爬蟲的經驗，我們把這些經驗中看起來能用的套件記錄下來
3. npm 套件
   • 先在 npm 官網 確認這些套件健康程度，太少人用或太久沒更新的就淘汰掉，接著進入實際測試確認是否符合專案需求，以下是我當時找到的資源並附上實測後的分析:
     1. request & cheerio
        • 下關鍵字候第一個找到的資源，使用範例程式測試後確認他可以透過網址抓到網頁元素並進行分析
        • but…他在 FB、IG 面前毫無用武之地，因為 FB 會偵測你使用的瀏覽器，所以在第一關他就陣亡了
     2. selenium-webdriver
        • 基本上他是一個無論是什麼網頁都能夠爬蟲的工具了，我認為非常適合新手使用
        • 工具運行時會開啟一個瀏覽器，這個瀏覽器會依據撰寫的腳本來模擬人類操作的每個步驟
        • 所見即所得，看得到的資訊都能夠抓下來，學習起來非常容易且直覺，所以這是本專案最後選擇的工具
     3. Puppeteer
        • 操作邏輯與 selenium-webdriver 非常類似
        • 預設附帶 Chronium 瀏覽器，不會有瀏覽器匹配問題(但是只能用這個瀏覽器QQ)
        • 只能使用 Node.js 撰寫，不像 selenium-webdriver 有多種語言的 binding

2. 使用 selenium-webdriver 套件開啟瀏覽器：openCrawlerWeb

我的文章會會依據需求使用到它的各種功能，如果有迫不及待的小夥伴也可以先去官網來更深刻的了解他

1. selenium-webdriver前置環境安裝

   • 先在終端機(Terminal)下指令安裝他

     yarn add selenium-webdriver
     

   • 本專案使用的模擬器是 chrome，電腦還沒裝的請先下載

   • 因為跑 selenium 需要用到 driver，大家可以依照自己的作業系統做設定

     • mac 作業系統
       • 如果你用的電腦是 mac，恭喜你，不要需要額外下載 chrome driver 就能夠直接寫使用(不過 chrome 還是要下載)
     • windows 作業系統

       1. 先確認自己 chrome 版本：將chrome://settings/help貼到你的網址列

          

       2. 下載與你 chrome 版本相同的chrome driver

          

          

       3. 下載的檔案解壓縮後將 chromedriver.exe 放到專案根目錄下

2. 用openCrawlerWeb函式打開爬蟲用網頁

   • 因為 selenium-webdriver 是使用非同步函式建立瀏覽器(browser)，所以我們需要加上 await 明確告訴程式必須建立完瀏覽器才能打開網頁

     PS. 因為 javascript 支援非同步語法，所以我們必須很明確地告訴程式他要執行的順序(在 async 的函式中用 await，是標明必須等待這項工作完成才能進入下一步)，否則他跑起來的順序跟你想的不一樣 (並非完成前面工作才執行下一步的順序)，想更深入理解的朋友可以參考這篇文章喔

   index.js

   require('dotenv').config(); //載入.env環境檔
   const webdriver = require('selenium-webdriver') // 加入虛擬網頁套件
   
   async function openCrawlerWeb() {
   
       // 建立這個browser的類型
       let driver = await new webdriver.Builder().forBrowser("chrome").build();
       const web = 'https://www.google.com/';//填寫你想要前往的網站
       driver.get(web)//透國這個driver打開網頁
   }
   openCrawlerWeb()//打開爬蟲網頁
   

3. 執行程式
   在專案資料夾的終端機(Terminal)執行指令

   yarn start
   

   如果執行順利，你會看到 chrome 應用程式自動打開並且進入 google 的首頁

   

3. 解決 windows 無法自動讀取 chromedriver.exe 路徑

因為有人回報部分 windows 就算把 chromedriver.exe 放在專案根目錄也讀不到，所以特別寫了一個 checkDriver 的函式，邏輯如下：

• 判斷電腦是否有預設的 chromedriver
  • Yes → 無須設定
  • No → 確認路徑下是否有 chromedriver.exe 的檔案
    • Yes → 設定 driver 路徑
    • No → 無法設定 driver 路徑回傳 false
• 備註
  • try-catch：顧名思義就是先 try，如果發生問題就會 catch 並執行錯誤處理；之後會有文章深入討論 try-catch 對專案的重要性
  • __dirname：目前檔案所在的資料夾路徑

const chrome = require('selenium-webdriver/chrome');
const path = require('path');//用於處理文件路徑的小工具
const fs = require("fs");//讀取檔案用

function checkDriver() {
    try {
        chrome.getDefaultService()//確認是否有預設
    } catch {
        console.warn('找不到預設driver!');
        
        //'../chromedriver.exe'記得調整成自己的路徑
        const file_path = '../chromedriver.exe'        
        //請確認印出來日誌中的位置是否與你路徑相同
        console.log(path.join(__dirname, file_path));
        
        //確認路徑下chromedriver.exe是否存在            
        if (fs.existsSync(path.join(__dirname, file_path))) {
            //設定driver路徑
            const service = new chrome.ServiceBuilder(path.join(__dirname, file_path)).build();
            chrome.setDefaultService(service);
            console.log('設定driver路徑');
        } else {
            console.error('無法設定driver路徑');
            return false
        }
    }
    return true
}

• 將 chromedriver.exe 放到根目錄後記得在 .gitignore 把它加進去忽略清單喔，他屬於不需要版控的檔案

  .gitignore

  node_modules
  .env
  chromedriver.exe
  

4. 將checkDriver整合到openCrawlerWeb

在建立瀏覽器之前，我們先用 checkDriver 函式來確認 Driver 是否是設定，如果無法設定會跳出錯誤提醒，統整後程式如下

index.js

require('dotenv').config(); //載入.env環境檔
const webdriver = require('selenium-webdriver') // 加入虛擬網頁套件
const chrome = require('selenium-webdriver/chrome');
const path = require('path');//用於處理文件路徑的小工具
const fs = require("fs");//讀取檔案用

function checkDriver() {
    try {
        chrome.getDefaultService()//確認是否有預設
    } catch {
        console.warn('找不到預設driver!');
        
        //'../chromedriver.exe'記得調整成自己的路徑
        const file_path = '../chromedriver.exe'        
        //請確認印出來日誌中的位置是否與你路徑相同
        console.log(path.join(__dirname, file_path));
        
        //確認路徑下chromedriver.exe是否存在            
        if (fs.existsSync(path.join(__dirname, file_path))) {
            //設定driver路徑
            const service = new chrome.ServiceBuilder(path.join(__dirname, file_path)).build();
            chrome.setDefaultService(service);
            console.log('設定driver路徑');
        } else {
            console.error('無法設定driver路徑');
            return false
        }
    }
    return true
}

async function openCrawlerWeb() {

    if (!checkDriver()) {// 檢查Driver是否是設定，如果無法設定就結束程式
        return
    }
    
    // 建立這個broswer的類型
    let driver = await new webdriver.Builder().forBrowser("chrome").build();
    const web = 'https://www.google.com/';//填寫你想要前往的網站
    driver.get(web)//透國這個driver打開網頁
}
openCrawlerWeb()//打開爬蟲網頁

ℹ️ 專案原始碼

• 今天的完整程式碼可以在這裡找到喔
• 我也貼心地把昨天的把昨天的程式碼打包成壓縮檔，你可以用裡面乾淨的環境來實作今天的功能喔
  • 請記得在終端機下指令 yarn 才會把之前的套件安裝
  • windows需下載與你chrome版本相同的chrome driver放在專案根目錄

參考資源

1. [JS] 談談 JavaScript 中的錯誤處理 Error Handling
2. 為什麼用 (或不用) Puppeteer
3. 重新認識 JavaScript: Day 26 同步與非同步
4. 鐵人賽：JavaScript Await 與 Async

免責聲明:文章技術僅抓取公開數據作爲研究，任何組織和個人不得以此技術盜取他人智慧財產、造成網站損害，否則一切后果由該組織或個人承擔。作者不承擔任何法律及連帶責任！

在許多人的幫助下，本系列文章已出版成書，並添加了新的篇章與細節補充：

• 加入更多實務經驗，用完整的開發流程讓讀者了解專案每個階段要注意的事項
• 將爬蟲的步驟與技巧做更詳細的說明，讓讀者可以輕鬆入門
• 調整專案架構
  • 優化爬蟲程式，以更廣的視角來擷取網頁資訊
  • 增加資料驗證、錯誤通知等功能，讓爬蟲執行遇到問題時可以第一時間通知使用者
  • 排程部分改用 node-schedule & pm2 的組合，讓讀者可以輕鬆管理專案程序並獲得更精確的 log 資訊

有興趣的朋友可以到天瓏書局選購，感謝大家的支持。

購書連結：https://www.tenlong.com.tw/products/9789864348008

你不用很厲害才開始，你要開始了才會很厲害！

為什麼選擇這個題目？

因朋友職業需求需要搜集與公司同類型品牌FB及IG粉專的資料，用每日追蹤人數的變化及貼文數量來做數據分析，像是：

1. 觀察發文頻率是否與紛絲成長數量成正比
2. 某個粉專突然因為某篇貼文而紛絲爆量成長

有這些數據後方便研擬各項策略，但需要追蹤的FB跟IG品牌頁面加起來超過 200 個(真的狂，這是現實案例)，如果靠手指一個一個點開，複製貼上到 excel，這個機械式的動作重複兩百多次我想想都很崩潰，於是他便向我詢問是否有辦法讓這些步驟自動化

這三十天我能學到什麼？

說點喪志的話，無論我分享什麼技術，他遲早會被這個世界淘汰

所以我認為與其透過文章讓你掌握技術，不如透過技術培養解決問題的邏輯

這系列文章是透過一個真實外包案例，從零開始逐步分析如何完成它

文章大綱

1. 開發前環境設定 【day2】
   • 教你安裝本專案所需要的開發工具，確保能完成日後的實作
2. 寫程式所需的基礎常識(Node.js) 【day3~day7】
   • 如何撰寫不被同事嫌棄的程式
   • 喚醒開發過程中被忽略的小技巧提升工作效率
   • 結合經驗與專案實務，讓你了解沒常識有多可怕
3. 爬蟲抓取網頁資訊(selenium) 【day8~day16】
   • 理解為什麼挑選這個工具
   • 網頁結構的分析技巧
   • 完成需求後，程式重構與錯誤處理的重要性
4. 將取得的資訊儲存(Google Sheets) 【day17~day23】
   • 思考符合客戶需求的資訊載體
   • 學會閱讀官方的文件
   • 處理匯入爬蟲資料遇到的問題
   • 在專案發生bug、有新功能需求時與客戶溝通的技巧
5. 設定排程自動執行 【day24~day26】
   • 有時一個工具不足以完成需求，培養將多種工具串連解決問題的能力
6. 排程完成後透過LINE回報執行狀況 【day27~day29】
   • 了解使用 api 前先用第三方程式測試的重要性
   • 重構程式將專案爬蟲的訊息整合，透過 LINE 回傳當日爬蟲狀況

文章的內容著重於思考

我所提供的答案只是僅供參考

一道題目解決的方法肯定不只一種，對於工程師而言最珍貴的是思考的過程

直接看答案會限制你的思維

有了思考的過程你會給出一個更棒的解決方法

題目分析

• 專案目標： 透過爬蟲拯救一個沈淪在FB、IG分析報表的小編

• 使用工具： 只要能把他從每天重複的動作中拯救出來就好，不管你用什麼工具

• 外包預算： 友情無價，外包有價

  如果有朋友間的外包，我強烈建議一定要收錢，你的收費可以遠低於市場報價，但絕對要收錢，如果你不收錢，有超高機率鬧得雙方不愉快
  並且你在做功能前要先報價，確定對方可以接受後再開始實做
  技術是有價值的，你有收錢，你會給自己時間壓力；對方有付錢，會認真地使用你做出來的產品並給予回饋
  這樣才是正向循環
  我看過太多朋友間免費的專案，到最後不是胎死腹中就是爛尾，所以請報價吧，對雙方都好

• 專案期限:
  越快越好

需求規格

我想很多工程師都遇過親朋好友委託專案，而他們給需求時通常都是很不具體的，你也不可能要他們寫需求規格書

所以我建議你要自己研擬一份簡易的需求規格書，並說明一些但書以免日後爭議

1. FB
   1. 取得粉專追蹤人數
   2. 取得當日貼文數
   3. 頻率: 1次/天
   4. 報表出來時間: 22:00
2. IG
   1. 取得粉專追蹤人數
   2. 取得當日貼文數
   3. 頻率: 1次/天
   4. 報表出來時間: 22:00
3. 報表呈現
   1. excel格式
   2. 標題點進去可以直接連結粉專
   3. FB與IG粉專各自獨立分頁顯示
   4. 爬蟲日期為欄，粉專標題為列
   5. 首欄與首列需要凍結窗格，方便使用者操作(新增需求)
   6. 插入日期為倒序插入，由近到遠(新增需求)
4. 爬蟲完成通知(新增需求)
   1. 使用line進行通知(新增需求)
   2. 通知包含：總掃描粉專數量、共費時間、Google Sheets連結、無法正常爬蟲頁面列表(新增需求)
5. 專案執行位置
   1. 自己電腦
6. 預計交期
   1. 請研擬一個自己絕對能做出來的時間，只能多不能少
7. 功能報價
   1. 這個部分關係到你對工具的熟悉程度、程式執行的效率、程式的穩定性、功能項目多寡…，光這個估計都能完成鐵人30篇惹
8. 備註
   1. 如果FB或IG的網頁結構上的更動導致無法用原先程式運行時需與工程師討論維護報價

實作的步驟

1. 使用什麼工具完成
2. 列出功能項目報價
3. 哪個功能項目需要最先研究
4. 如何讓對方能夠使用及測試功能
5. 結案與維護

以上是我接案之前就會先思考的問題，但實際情況通常會比我列出這些步驟更為複雜，各位讀者也可以想想看自己在遇到這些需求時會怎麼設計呢～

PS.技術沒有善惡，人的使用方式才會有善惡，希望這份技術可以幫大家節省時間以及避免重工；如果你把它拿來盜取智慧財產、個人檔案及機敏資訊請自行負擔後續法律責任

免責聲明:文章技術僅抓取公開數據作爲研究，任何組織和個人不得以此技術盜取他人智慧財產、造成網站損害，否則一切后果由該組織或個人承擔。作者不承擔任何法律及連帶責任！

感謝大家的閱讀，如果喜歡我的文章可以按Like支持一下喔，我們明天見

在許多人的幫助下，本系列文章已出版成書，並添加了新的篇章與細節補充：

• 加入更多實務經驗，用完整的開發流程讓讀者了解專案每個階段要注意的事項
• 將爬蟲的步驟與技巧做更詳細的說明，讓讀者可以輕鬆入門
• 調整專案架構
  • 優化爬蟲程式，以更廣的視角來擷取網頁資訊
  • 增加資料驗證、錯誤通知等功能，讓爬蟲執行遇到問題時可以第一時間通知使用者
  • 排程部分改用 node-schedule & pm2 的組合，讓讀者可以輕鬆管理專案程序並獲得更精確的 log 資訊

有興趣的朋友可以到天瓏書局選購，感謝大家的支持。

購書連結：https://www.tenlong.com.tw/products/9789864348008