Google雲端無伺服器資料複製服務Datastream開始支援BigQuery

Google宣布推出Datastream for BigQuery預覽版，這是一個可以讓用戶將AlloyDB for PostgreSQL、PostgreSQL、MySQL和Oracle等營運資料庫，順暢無縫複製資料到Google無伺服器資料倉儲BigQuery的服務。

Google解釋了這項服務的適用情境，以零售業為例，每家連鎖分店都有自己的POS和庫存管理系統，全天候收集商店交易和庫存資料，但為了要進一步分析這些連鎖分店的日常營運，提供更多的資料報表和統計資料協助分店營運，因此IT部門通常會在晚上設置批次處理流程，以收集和整合分店的所有資料至中央資料倉儲，以便來得及在早上的時候，提供準備好的分析報表。

由於維護這個資料複製的程序，需要資料工程團隊付出許多心力，而且隨著分店規模以及需要處理的資料越來越多，這個負擔也會更重，複製資料時間也需要拉長，導致報表準備的時間越來越久。

而Datastream for BigQuery便是要解決這個問題，該服務可整合資料庫、分析和機器學習在同一個平臺中，供企業以大規模且高效的方式分析資料，受益於無伺服器和自動擴展架構，Datastream讓用戶能夠簡單地配置ELT（Extract、Load、Transform）工作管線，執行低延遲資料複製，以獲得即時資料分析結果。

Google提到，因為BigQuery的變更資料捕捉技術（CDC）以及Storage Write API的UPSERT新功能，因此Datastream可以高效地將更新直接從來源系統，即時複製到BigQuery表格中，因此用戶也不需要花費資源建構工作管線，或是進行資料轉換等工作。

現在用戶只需要在BigQuery配置來源資料庫、連接類型和目的地，接下來Datastream便會處理剩餘的工作，包括回填歷史資料，並且在資料更新出現時，持續地複製資料，當來源資料架構出現變化時，Datastream也能自動處理這些更改，將新表格和資料欄位加入到BigQuery中。