【Day24】排程 - Cron套件超詳解,讓爬蟲自己動起來
在客戶要求這個功能前其實我就把他的雛型完成了,因為我是一個懶人,同時也不是一個記性很好的人,如果每天都要在某個時間打開專案執行 yarn start 然後等數據跑完,這對我來說實在是一件很容易忘記且沒有效率的事情,我認為電腦可以做到事情那就交給電腦去做,所以接下來幾天就來跟大家分…
TOPIC ・ 主題
Tech Tutorials
手把手的實作教學。從挑選主題、撰寫文章到部署上線與 SEO 設定,一步步打造自己的個人品牌網站。
共 122 篇文章
在客戶要求這個功能前其實我就把他的雛型完成了,因為我是一個懶人,同時也不是一個記性很好的人,如果每天都要在某個時間打開專案執行 yarn start 然後等數據跑完,這對我來說實在是一件很容易忘記且沒有效率的事情,我認為電腦可以做到事情那就交給電腦去做,所以接下來幾天就來跟大家分…
1.1 那些不堪回首的共同回憶1.2 是什麼原因製造出這些體驗的1.3 有在使用產品的人才會給你最真實的回饋,專案還有哪些地方要改善呢?
3.1 插入一個空白欄位:insertEmptyCol3.2 把空白欄位更新成最新的追蹤人數資訊
其實這份專案完成到昨天的進度時就給業主做功能上的確認準備結案了 但一個案子通常很難一次就通過,無論這隻程式在你電腦上執行的多麼穩定,放到別人的電腦上總會冒出大大小小的 bug,我大概歸類成以下幾種:
1.1 分析 Google Sheets 上要呈現的資料、寫入時可能遇到的問題1.2 組合回傳的資訊:以 crawlerFB 為範例
接下來幾天的目標是將之前的爬蟲資料放入 Google Sheets,實踐上會分成幾個步驟:
一般來說爬蟲的資料都是儲存到資料庫,但是我相信絕大多數的人不太可能隨時隨地打開資料庫觀看,而且存在資料庫除非你請網頁工程師幫你完成前端視覺化,不然直接看資料庫絕對會讓你懷疑人生XD
1.1 優化分成哪些面向?1.2 優化執行效率及穩定度1.3 背景執行並減少記憶體的消耗
專案在需求規格中有一條是在自己的電腦執行,在分析完各種檔案格式的優缺點後我決定使用json格式:
在 Day8 selenium-webdriver:爬蟲起手式 有使用到 try-catch 來解決抓不到 chrome driver 的例外事件,今天我們會更清楚的說明如何讓 try-catch 幫助你更高效的 debug 以及增加程式穩定性
昨天我們完成了一個跑得動的程式,但很明顯這不是一個好的程式 大家應該有感受到隨著程式越來越長,我們對他的掌握力逐步下降 根據 Clean Code 的原則而言就是說這程式寫得很爛XD 很多人為了盡快完成功能而埋頭狂寫,但這樣容易導致你日後維護以及交接的困難性,你所負責的專案越大這…