Google宣布開始在其雲端資料倉儲BigQuery,支援原生JSON資料類型,而這項新功能讓用戶可以在BigQuery中,儲存和分析半結構化資料。官方提到,透過支援新的JSON儲存類型,以及進階功能,諸如JSON點記法(Dot Notation)、適應性資料類型變更、新的JSON函式,以及半結構化資料,BigQuery用起來更直覺,用戶能以原生格式進行查詢。
建構資料工作管線,需要考量許多面向,包括資料擷取來源,或是應用程式要以批次或是串流方式使用資料,以及表格設計的方式等,Google解釋,因為這些配置通常需要在建置資料工作管線之前決定,所以當後來不敷使用時,常需要花費高昂成本,或是繁瑣地過程進行修改。
為了處理這類事件,用戶過去需要建構複雜的自動化處理機制,也可能得暫停資料擷取,由人工手動介入,或是將預期之外的資料,寫入到包山包海的字串欄位中,並在後期使用時,對該欄位進行額外解析。但Google提到,這些方法都會增加成本、複雜性,並且降低用戶操作資料的能力。
JSON是一種受到廣泛使用的格式,由於不要求架構,因此能夠處理半結構化資料,這使得用戶能獲得更大的靈活度,儲存和查詢非總是遵循固定模式和資料類型的資料。以JSON資料類型擷取半結構化資料,BigQuery可獨立編碼和處理JSON欄位,並且透過點記法單獨查詢JSON資料欄位的數值。
因此在BigQuery中,支援半結構化資料,能夠給用戶更大的自由度,並且減少處理相關問題的成本。Google提到,相較於從字串欄位擷取JSON元素,需要處理整個資料區塊,來得有效率許多,更具成本效益,而且即便是現有的資料表,也能應用這項新功能。
熱門新聞
2024-11-18
2024-11-12
2024-11-20
2024-11-15
2024-11-15
2024-11-19