HDFS和MapReduce只是打造Hadoop平臺最基本的核心套件,在Apache基金會的網站中還有其他的相關開源套件,共同組成了一個Hadoop體系(Hadoop Ecosystem)。
透過這些相關專案的延伸,開發人員就算不懂Java,也可以用特定Script語言來撰寫Hadoop上的MapReduce程式,甚至可以用SQL語法來查詢HDFS上的資料。這些周邊專案可說是大幅強化Hadoop功能的軟體軍火庫,想要善用Hadoop的開發人員不可錯過。其中重要的周邊專案包括HBase、Hive 、ZooKeeper、Pig和Mahout。
HBase 能容納PB資料量的分散式資料庫
HBase是專門用於Hadoop檔案系統上的資料庫系統,採取Column-Oriented 資料庫設計,不同於傳統的關聯式資料庫,例如沒有資料表、Schema資料架構等功能,而是採用Key-Value形式的資料架構,每筆資料都有一個Key值對應到一個Value值,再透過多維度的對應關係來建立類似表格效果的資料架構。如此就能採取分散式儲存方式,可以擴充到數千臺伺服器,以應付PB等級的資料處理。
Hive 可用SQL語法存取Hadoop資料
Hive是建置在HDFS上的一套分散式資料倉儲系統,可讓使用者以慣用的SQL語法,來存取Hadoop檔案中的大型資料集,例如可以使用Join、Group by、Order by等,而這個語法稱為Hive QL。不過,Hive QL和SQL並非完全相同,例如Hive就不支援Store Procedure、Trigger等功能。
Hive會將使用者輸入的Hive QL指令編譯成Java程式,再來存取HDFS檔案系統上的資料,所以,執行效率依指令複雜度和處理的資料量而異,可能有數秒鐘,甚至是數分鐘的延遲。和HBase相比,Hive容易使用且彈性高,但執行速度較慢。不少資料庫系統,都是透過先連結到Hive,才能與Hadoop整合。例如微軟就是透過Hive ODBC驅動程式,將SQL指令轉換成Hive QL,讓Excel可以存取Hadoop上的資料。
在同一個Hadoop叢集中,Hive可以存取HBase上的資料,將HBase上的資料對應成Hive內的一個表格。
Pig 不懂Java開發也能寫MapReduce
Pig提供了一個Script語言Pig Latin,語法簡單,類似可讀性高的高階Basic語言,可用來撰寫MapReduce程式。Pig會自動將這些腳本程式轉換,成為能在Hadoop中執行的MapReduce Java程式。
因此,使用者即使不懂Java也能撰寫出MapReduce。不過,一般來說,透過Pig腳本程式轉換,會比直接用Java撰寫MapReduce的效能降低了25%。
ZooKeeper 讓Hadoop內部伺服器能協同運作
Zookeeper是監控和協調Hadoop分散式運作的集中式服務,可提供各個伺服器的配置和運作狀態資訊,用於提供不同Hadoop系統角色之間的工作協調。
以HBase資料庫為例,其中有兩種伺服器角色:Region伺服器角色和Master伺服器角色,系統會自動透過ZooKeeper監看Master伺服器的狀態,一旦Master的運作資訊消失,代表當機或網路斷線,HBase就會選出另一臺Region伺服器成為Mater角色來負責管理工作。
Mahout 立即可用的常用MapReduce函式庫
在Hadoop中,開發人員必須將資料處理作法拆解成可分散運算的Map和Reduce程式,因為思考邏輯和常見的程式開發邏輯不同,所以開發難度很高。Mahout則提供了一個常用的MapReduce函式庫,常見的數值分析方法、叢集分類和篩選方式,都已經有對應的MapReduce函數可呼叫,開發人員就不必再重複開發一次。
相關報導請參考「巨量資料的頭號救星:Hadoop」
熱門新聞
2024-12-24
2024-08-14
2024-12-22
2024-12-20
2024-12-23