若要加速大型資料倉儲系統的存取速度，我們會想到的解決方案，可能有下列幾種：導入大規模平行處理系統（Massively Parallel Processing，MPP）的架構，或是搭配記憶體內資料庫（In-Memory Database），然而，這兩類產品的軟硬體建置成本並不低，前者需配置多臺伺服器一起運作，也將佔用資料中心的空間，後者也有記憶體容量配置的上限，市面上，是否還有其他適合的解決方案可供選擇？
今年，我們看到漢領國際引進一套能對應上述需求的產品，稱為SQream DB，它是一種GPU加速資料倉儲系統，在去年9月推出3.0版，資料載入速度是先前版本的2倍，而在資料查詢的部份上， 針對多張資料表的連結（multi-table joins），以及非重複數量統計（count distinct）的作業速度，新版可達到15倍的提升。
到了3月，SQream公司改變了這套產品的版號命名規則，定為「年.主要版號.次要版號.修補版號」格式，目前釋出的最新版本是 2019.1.2。
SQream是在2010年成立於以色列特拉維夫，該公司花了3年以上的時間，在2014年10月宣布推出主要產品SQream DB，當時的定位是大數據分析SQL資料庫。到了2017年8月，SQream DB發布 1.17版，聚焦在多節點安裝的部份，提供新增功能與改善措施，強調可填補大規模平行處理系統與記憶體內資料庫之間的鴻溝。
這套資料庫系統之所以著重在GPU加速，不只是因為它擁有大量運算核心，同時也看重它的記憶體頻寬，可提供極大的資料吞吐能力，同時執行多個複雜的任務。
從系統元件的組成來看，SQream DB包含4大部分──SQream DB Daemon（sqreamd）、SQream SQL Editor、SQream Statement Editor、SQream Dashboard，值得注意的是，在安裝指南的文件特別提到，伺服器端必須安裝Nvidia CUDA的驅動程式，由此可知，這套資料庫系統需在搭配Nvidia GPU加速卡的伺服器環境下執行。
採用獨特的資料處理與儲存架構，可縮短載入大量資料的時間
而在資料存放的架構上，SQream DB採用的是直欄式（columnar）儲存引擎，能將所要處理的資料進行垂直與水平的分割，便於支援繁重的資料分析處理工作，像是連結、彙整（aggregations）、分類（sorting）。
所謂的水平切割，是針對原始資料進行直欄式的切割處理（Columnar Process），讓指定查詢作業能夠存取到特定欄位下的子集合資料，相較於標準的列式儲存（row storage），這種作法可減少磁碟掃描與記憶體I/O存取，而且相當適合GPU這類擅長平行運算的技術。
另一種水平分割，是將上述垂直切割後的資料，再進一步分割為資料塊（chunks），如此可提升硬體資源的使用效率，像是相對容量較小的GPU記憶體，使其能夠進行排存（spooling）與快取。
資料塊：資料表的超分割（hyper-partitioning）
基本上，所有存放在SQream DB的資料表，會自動分割成多個資料塊，而每個資料塊包含了幾百萬個資料點（data point），之後，這些資料塊會經過壓縮，佔用的儲存空間只需幾MB，不需手動介入或維護。
換言之，每張資料表的列會分散在多個資料塊當中，而且是橫跨多個欄位來存放，而由於資料塊很小，若要經由PCI匯流排傳輸到GPU當中處理，會比較有效率。
同時，這裡所採用的壓縮演算法，會根據不同類型的資料而調整（例如，需依循資料所在地的規則）。一旦資料發生變更，這套自動調適壓縮演算法也會針對特定的資料塊，來決定最佳的壓縮方式。
基於這樣的架構，使用者查詢所有資料時，就如同面對一張普通的資料表，同時，又能因應一般資料庫儲存需求快速成長的挑戰。而根據SQream的估算，若從多個外部來源載入資料的作業而言，這套GPU加速資料倉儲系統在資料提取（Data Ingestion）的部分，以每張GPU加速卡為單位時，可達到每小時3.3 TB的存取效能。
中繼資料存取：zone map、資料省略
在吸取資料（ingest）的當下，SQream DB也會針對存放在資料塊的全部資料列，來收集與儲存中繼資料（metadata），裡面包含了納入資料的數值與屬性範圍。而在中繼資料儲存到系統之際，也會與壓縮的資料塊區隔開來。
關於此種metadata的處理方式，一般稱為zone map，已有一些資料庫系統採用。有別於標準的索引機制之處在於，metadata是從資料塊自動收集而來，且透明地橫跨所有資料類型與欄位；同時，也不會佔用太多容量，這邊的中繼資料收集只會佔用1％的儲存空間；此種作法也有助於資料查詢速度的提升，因為經過計算的zone map，可允許資料修剪（data pruning）或資料省略（data skipping）的處理，毋須讀取無關的資料；若要刪除老舊資料，也能受益於這種技術而變得更容易。
舉例來說，在SQream DB執行資料查詢時，系統會查看中繼資料的型錄，並且排除那些zone map被辨識為無關查詢的資料塊。也就是說，從磁碟讀取資料時，能夠因為我們在SQL指令當中輸入的Where子句，或是連接一些關鍵欄位（key）時，而不需載入查詢範圍以外的部分。
針對所有的資料欄位，SQream DB會自動收集中繼資料，其中，對於數值型的資料處理上，可獲得最佳效益。一般而言，多數資料庫的資料表都有某種時戳或日期的記錄，這類資料通常使用了某種升冪排序的方式，而在SQream DB的系統上，當資料納入SQream DB資料表時，系統會填入資料塊，並在資料塊置入特定日期之際，新的資料塊將會帶入同樣或新的日期而建立。
舉例來說，如果我們要查詢橫跨10年的大量歷史資料時，只想分析某日的其中一個小時，在SQream DB的系統當中，就只會掃描該份資料表的1/24；如果想要查看10年期間、每年12月24日的其中一個小時，SQream DB只會掃描資料表的1/8760。換言之，若進一步僅指定相關欄位，SQream DB就能夠讀取範圍更小的資料。
針對時間序列型的資料，有了這種層級的刪減技術，系統即使面對指定範圍的查詢，甚至是規模非常大的資料表，仍能夠更快產生出處理的結果，而不需仰賴大型與繁重的索引機制。
支援多種擴充系統處理規模的做法
此外，若要以縱向擴充（Scale Up）和橫向擴充（Scale Out）等方式，來提升GPU的運算規模，只需在伺服器端換裝或加裝GPU加速卡，比起純CPU的伺服器系統，相對容易擴充運算規模。
可運用較多人擅長的SQL語法來進行查詢，並且支援多種資料來源、程式語言、圖像報表平臺
另一個SQream DB吸引企業用戶的賣點在於，它本身是一套相容於ANSI SQL標準（ANSI-92）的關聯性資料庫，開發人員可使用普及、熟悉的SQL語法來進行資料查詢，而不像導入其他資料庫或資料倉儲系統，須重新學習語法才能操作。
SQream DB目前支援的資料來源，相當廣泛，可以順利整合公司既有的資料儲存方式。原廠提供了多種驅動程式、連接器，可涵蓋ODBC、JDBC、Python、Node.JS、Java、C++等應用程式開發環境，而能存取Apache Kafka、Apache Spark等大數據系統，同時，也能支援通用檔案格式，像是CSV檔，以及Hadoop環境下的直欄式儲存格式Apache Parquet，以及Infomatica等商業智慧軟體廠商的ETL工具。
產品資訊
SQream DB 2019.1.2
●代理商：漢領國際(02)2709-6983
●建議售價：廠商未提供
●硬體需求：2顆8核心Xeon E5-2600 v4系列或POWER9、128GB記憶體（對應每張GPU加速卡）、2張Nvidia Tesla K80/P40/P100、存放作業系統2臺100GB SSD（RAID 1）、加速排存2臺400GB SSD（RAID 1）
●儲存配置：主要儲存區為10臺600GB SAS介面硬碟或SSD（RAID 5或6），外部SAN/NAS儲存：配合每張GPU加速卡的儲存吞吐量為500 GB/s
●作業系統需求：64位元Linux（CentOS 7.3、Ubuntu 16.04、Amazon Linux 2017.03）
●系統安裝方式：Docker（Docker CE 18.03、Nvidia Docker2）、RPM
【註：規格與價格由廠商提供，因時有異動，正確資訊請洽廠商】
熱門新聞
2024-03-28
2024-12-11
2024-12-11
