Google雲端倉儲服務BigQuery正式提供搜尋索引和搜尋功能,這將可讓用戶更有效率地搜尋富文字資料,官方提到,搜尋索引讓用戶可以減少將資料匯出至獨立搜尋引擎的需要,方便建置資料驅動應用程式,或是同時綜合分析文字資料和其他結構化、半結構化、非結構化、串流和地理空間資料。

Google在內部以10TB、100TB和1PB的資料,測試了運用搜尋索引的SEARCH函式,以及無搜尋索引的REGEXP_CONTAINS函式,在常見搜尋案例的平均執行速度,使用搜尋索引的SEARCH函式執行速度是替代搜尋方法的10倍。

有搜尋索引的支援,使得BigQuery SEARCH功能所查詢的位元組數量比起替代查詢少2,682倍,而Slot使用效率,比替代搜尋高1,271倍。由於Slot是BigQuery計算單位,因此越少的Slot時間支付的費用也就越少。

搜尋索引支援的BigQuery搜尋功能,可用於廣泛的使用案例,像是罕見詞搜尋,這是在日誌分析中常見的查詢模式,企業常需要大海撈針地,在數百萬甚至數十億行資料中,搜尋特定網路ID、錯誤碼或是用戶名稱,以解決特定問題或是執行安全稽核,使用搜尋索引讓BigQuery避免大規模掃描操作,可以精準定位回答查詢所需要的資料。

BigQuery的日誌分析預覽功能,便是利用BigQuery搜尋功能,提供用戶日誌分析即服務解決方案,該功能提供專用介面,供用戶查詢常見的日誌記錄元素,像是IP位置、URL和電子郵件等。

熱門新聞

Advertisement