Google發表跨平臺資料儲存引擎BigLake

Google於本周舉行的雲端資料高峰會（Cloud Data Summit）上，發表新的統一儲存引擎BigLake，它能夠橫跨不同的雲端與格式，提供一致的粒度存取控制，簡化使用者存取資料倉儲與資料湖的流程。

Google指出，組織的資料日趨複雜，它們可能以多種格式散置在不同的環境或孤島上，而讓風險與成本日益增加，特別是需要轉移資料的時候，而BigLake則讓組織得以統一資料倉儲與資料湖，使團隊可以在不管底層的儲存系統或格式下分析資料，還能消除複製或遷移資料的需求。

事實上，BigLake是將Google BigQuery的能力延伸到多雲儲存中，包括AWS與Azure，且藉由開放格式來確保一個統一卻又彈性的資料湖架構。

BigLake支援諸如Parquet與ORC等開放格式，而且提供粒度安全控制；得以保留單一的資料備份，在不同的分析引擎中採用一致的存取控制，包括Google Cloud或開源的Spark、Presto、Trino與Tensorflow等；並透過與Google Cloud Dataplex的無縫整合進行統一管理。

圖片來源／Google

具體而言，BigQuery用戶可透過建立BigLake表格，將任務延伸到於Google Cloud Storage、Amazon S3或Azure Data Lake Storage Gen2上的資料庫，資料管理員可利用政策標籤於BigLake表格上就表格或行、列配置安全功能。

當管理人員建立BigLake表格之後，使用者即可像使用其它BigQuery表格一樣進行查詢，而且每一名使用者只會看到被授權存取的部分。