從找房子理解 ETL scheduling


這篇文章的目的,是讓技術小白也能理解 ETL Scheduling 的概念。

ETL 是什麼?

首先,先來簡短認識一下 ETL 是什麼。ETL 由 Extract(從來源端擷取資料)、Transform(將擷取後的資料轉換成合適的格式)、Load(將轉換後的格式放進目的位置)所組成。在進行 ETL 時,每個任務之間有先著後順序和彼此之間的依賴關係。

再接下去介紹 ETL scheduling 之前,先來一段故事。

找房子的故事

滴哥和同住的妹妹感情非常好,但最近因為常被鄰居誤會會和妹妹一起洗澡而頗為困擾,所以決定狠下心來搬去外面自己租屋。
(Photo by Jon'Nathon Stebbe on Unsplash)

為了找到好房子,滴哥最近每天都花好多時間在瀏覽臉書租屋社團的資訊,但臉書有好幾個類似的社團,社團裡有求租貼文、也有租屋貼文,而且很多房東都只租給女生,加上發文的格式又不太統一,導致滴哥常看得眼花撩亂又找不到可以租的房子,因此他決定花十塊錢請妹妹幫忙整理。他請妹妹做的事情如下:

  1. 到 8 個臉書租屋社團去挑出男性可租的租屋貼文來看
  2. 從貼文中ㄧㄧ辨認出照片、格局類型、樓層、位置、聯絡電話、備註等資訊,並轉成特定的格式(例如位於 5 樓公寓中的 5 樓,是頂樓加蓋,就要在樓層欄位寫 5F加蓋/5F)
  3. 把以上資訊依照格式填入哥哥指定的 excel 表格中

注意到了嗎,以上三個步驟分別就是 Extract(擷取)、Transform(轉換)、Load(放到目的地)。那妹妹做得如何呢?妹妹一口氣花了三天,整理出了 87 筆租屋資訊,這十塊錢花得真是值得。

• • •

三天後滴哥拿到了滴妹整理好的資訊,卻發現了一些問題。
首先是租房訊息更新得非常快,每個小時都有人在 po 出新的租屋資訊,而且那些位置好、條件好的搶手房子,po 出的一兩天甚至幾小時內,就有人馬上下訂。因此在妹妹交到滴哥手上的資訊中,很多房子都已租出了。
再來是妹妹在整理到第三天時,已經筋疲力盡,因此在表格中出現了許多快睡著時輸入的亂碼、甚至還有些資料不符合男性可租的條件。

改變策略:定時定量更新資訊

因此,滴哥決定改變策略,每天安排早上 9 點、下午 3 點與晚上 8 點三個時段,請妹妹各收集 10 筆資料,這樣滴哥就可以獲得最新的即時資訊,妹妹也不會因為一次處理太多資料而出現當機狀況。

按照新策略執行下來,果真順利許多,滴哥根據滴妹搜集的資訊,即時、準確地拿到了最新的租屋消息,據說ㄧ週內就找到了理想的住所。

找房子的故事與 ETL Scheduling 的關係

還記得滴哥遇到的兩個問題嗎?

  1. 租屋的資訊更新很快,而滴哥必須掌握最新的資訊。
  2. 一次讓妹妹處理太大量的資料,速度很慢、又會出現很多非預期的錯誤。

因此,滴哥決定定期、定量地去處理持續更新的來源資料。

實務上在使用 ETL 處理資料時,概念也是類似的。

  1. 如果想要處理的來源資料是會不斷更新的資料,就需要安排固定的時間來重新進行 ETL 的程序,擷取新的資料、轉換資料格式並置入,才能讓使用者獲得最新的資料。
  2. 當一次處理龐大資料時,可能會讓處理時間太久,也很容易出現非預期的失誤,這時也需要定期、定量地執行 ETL,來讓資料能穩定輸出。

而這樣定期、定量地執行 ETL 的程序,就叫做 ETL Scheduling。

小結

這篇文章以找房子為比喻,介紹了 ETL 與 ETL scheduling 的觀念。

當然,故事和實際狀況還是有些不一樣的地方。故事裡執行 ETL 的是妹妹,實際則會使用程式來執行,並利用程式來排定處理資料的時程。

ETL scheduling 也會碰到一些問題,例如讓程式自動定期處理資料,卻在過程中遇到網路突然斷掉、來源資料出了異動等等預料之外的狀況,這樣還必須花時間去 debug 找出是哪裡出了錯誤。現在也有相對應的工具如 Airflow 可以妥善解決這樣的狀況,然而這就不是這一篇要討論的問題了,之後有機會再來分享 :)

• • •

參考資料:
Airflow 於 ETL 的初步應用 – PyCon Taiwan 2020 其中關於 ETL scheduling 的部分

#ETL #ETL scheduling






Related Posts

Day04_Origami學習筆記

Day04_Origami學習筆記

Request 額外補充

Request 額外補充

合併排序Inversion應用

合併排序Inversion應用






Comments