企業若要實現邊緣運算的應用,不只是布建感測器與提供連網環境,對於串流資料(Streaming Data)的擷取、分析、管理,也是重點,目前我們雖然可運用多種開放原始碼的軟體,來構築資料處理的平臺,然而,在建置這樣的系統,以及進行整合管理時,可能會需要不少的時間。
事實上,SDP之所以能夠發展起來,可追溯至Dell EMC在2017年5月舉行的全球用戶大會,他們預先展示了一套軟體定義解決方案,是針對大量物聯網串劉資料儲存與分析需求,稱為鸚鵡螺計畫(Project Nautilus),希望能夠讓企業基於橫跨全球的設備串流資料,實現即時決策支援的能力,同時,還可以整合Elastic Cloud Storage(ECS)或Isilon,作為儲存層。他們希望能藉此替自家的非結構化儲存平臺,帶來即時資料處理的能力。
同年10月舉行的IQT智聯網大會,Dell EMC宣布了4項基礎架構與軟體研發計畫,當中也看到鸚鵡螺計畫名列其中,而該計畫的目的是打造一套軟體,能夠從物聯網閘道設備即時收集到的串連資料當中,進行攝取與查詢,而且這些資料可以存放到檔案或物件儲存系統,以便後續進行更深入的進階分析。
而在鸚鵡螺計畫當中,Dell EMC也揭露將會結合了多款開放原始碼軟體,像是串流資料處理軟體Pravega、串流資料分析軟體Apache Flink,以及他們的PowerEdge伺服器,並搭配非結構化資料儲存系統Isilon、ECS。
經過幾年的發展,這項計畫搭配的軟體元件也有一些變化,最後造就了今年推出的SDP。就目前SDP軟體組成的元件來看,大部分相似,例如,仍包含了Pravega 、Apache Flink,但增加了Kubernetes。以系統底層而言,SDP是執行在Kubernetes叢集環境當中的一群容器應用程式,提供IT基礎架構的調度指揮能力。
這裡的Kubernetes,主要是由Pivotal Container Service(PKS)來擔綱,而且是運作在伺服器虛擬化平臺VMware vSphere之上。有了PKS之後,用來支撐容器的執行之餘,還能讓SDP獲得使用者帳號與身分驗證,為資料層與控制層提供單一帳號登入(SSO)的功能;同時,PKS還能夠基於使用者角色控制(RBAC)的模式,對SDP執行的Kubernetes叢集,實施人員與應用程式的限制存取。此外,PKS還能提供進階的事件記錄功能,像是事件的收集與搜尋。
在上層的資料處理與分析機制上,SDP採用了兩套開放原始碼軟體。
首先,是由Dell Technologies推動和設計的Pravega,而促使SDP具備資料的攝取、儲存、發布/訂閱等功能。這套軟體能為持續與無界線的串流資料,提供一級儲存(Tier 1 Storage),以及持續服務的能力。
事實上,Pravega的組成架構就是軟體定義儲存架構,本身可分為控制層(Controller),以及資料層(Segment Store),而Segment Store可搭配下列兩種效能等級的資料儲存:
首先,提供短期、低延遲的一級儲存,是由Apache Bookkeeper來實作,執行在Pravega叢集內部(也稱為Pravega Bookkeeper)。
至於可支援長期資料保留的二級儲存(Tier 2 Storage),則是部署在Pravega叢集外部,目前可支援Dell EMC的Scale-Out NAS,也就是Isilon系列儲存系統,用戶可設置多臺設備組成叢集,為整個資料平臺提供持續性儲存(Persistent Storage)。而在SDP的技術白皮書列出的架構當中,則是將Dell EMC的物件儲存系統ECS並列於二級儲存的位置,未來有可能會提供相關支援。
.
SDP運用的另一套軟體,則是Apache軟體基金會發展的資料串流分散處理引擎Flink,提供即時與歷史資料查詢的處理,負責資料平臺的串流資料分析,可支援連續不斷與批次處理等分析模式。
而在Pravega與Apache Flink之外,SDP也整合Dell Technologies發展的專屬軟體,稱為Management platform,為整個資料平臺提供管理功能,可涵蓋安全、效能、組態、監控等層面的控管需求,而且,系統管理者、應用程式開發人員,以及終端使用者,均可透過網頁介面來操作這些功能。
除了產品本身的功能,關於線上與遠端技術支援的提供,也是SDP的特點,用戶可運用遠端安全監控服務(Secure Remote Services,SRS),讓原廠幫你留心系統運作狀態,若需要這樣的應用,用戶可在同一個站點架設SRS Gateway伺服器來監控,再讓SDP連接,之後,系統若偵測到問題,就會轉送至Dell Technologies,形成需採取行動的警示,而原廠的支援團隊則會連至SDP,協助用戶排除障礙。
此外,SDP還可搭配Dell EMC的ProSupport Plus服務,提供主動與預測性支援,在問題發生之前就通知用戶注意,若要加快系統建置速度,Dell EMC也提供部署與顧問服務,協助導入的規畫與設計。
產品資訊
Dell EMC Streaming Data Platform
●原廠:Dell EMC
●建議售價:廠商未提供
●產品元件:Pravega、Apache Flink、管理平臺
●硬體架構:1級儲存為超融合基礎架構VxRail或搭配vSphere與NSX-T的伺服器,搭配2臺交換器(S5200-ON),2級儲存為Isilon(H600、H5600、H500、H400、A200、A2000),Gen5以後的硬體、OneFS 8.2.x需啟用NFSv4
●其他軟硬體體需求:Kubernetes(相容於Pivotal Container Service 1.5.1)、Dell EMC SRS Gateway 3.8
【註:規格與價格由廠商提供,因時有異動,正確資訊請洽廠商】
熱門新聞
2024-09-29
2024-10-02
2024-10-01
2024-10-03
2024-10-01
2024-10-04
2024-10-01