許多企業為加速數位轉型,紛紛擁抱微服務、容器化技術,惟此時往往面臨瓶頸、癥結點就在「資料」。為協助企業解決難題,近年寬橋(Brobridge)針對數據中台、Data Mesh分散式架構著墨至深,持續孕育相關解決方案,期盼讓企業順利打造可用的數據中台,進而有效整合與運用數據資源、提升業務流程效率。

時值2023歲末年終,寬橋有鑑於微服務風潮日熾,企業對數據中台、Data Mesh的佈建需求急升,於是舉辦一場以「引領企業中台技術革新、透過數位轉型強化業務競爭動能」為題的新品發表會,意在使企業加速達成數位轉型與數據核心技術的關鍵里程碑。

寬橋總經理廖志宇(Armani Liao)

寬橋總經理廖志宇(Armani Liao)表示,寬橋初期以Kubernetes(K8s)服務見長,但同時間懷抱重大期許,亟欲協助客戶解決移轉到容器應用與微服務平台之間的資料議題,因而在2019年催生Gravity,為基於Data Mesh架構的產品,歷經4年琢磨,如今正好呼應全球大勢所趨。他強調2023年是臺灣Data Mesh元年,為此寬橋順勢推出更多相關方案,故藉由此次發表會揭示Gravity、BROCANAL、BROSYNC三大產品的內蘊價值,讓更多企業理解如何善用它們解決問題、產生效益,最終達到成功轉型的聖杯。

擁抱Data Mesh,打通微服務任督二脈

寬橋執行副總經理兼技術佈道師Kenny Chen指出,近年數位轉型熱潮延燒,從而帶動AI、中台化、容器化、雲端、微服務等許多新技術需求。以微服務為例,現今發展進程快速,迄今IT人多已熟識容器、K8s等雲原生技術;惟此時浮現頭重腳輕怪異現象,微服務走得快,但資料應用走得遲緩,導致企業轉型旅程屢見巔簸。因此Gartner在2022年發布12項趨勢分析,便將資料議題列為首位;ThoughtWorks則提出聳動預言,認為資料倉儲(Data Warehouse)將被Data Mesh、Data Fabric及Data Lakehouse取代;JPMorgan在2023年宣示擴編153億美元投入AI應用,其中指定採用的資料供應方案正是Data Mesh架構,係因傳統中央資料架構無法達到Near Realtime資料供應效率。

Kenny Chen強調,一個基於Data Mesh的數據中台,不只要做到Business Logic解耦,亦需做到資料解耦,否則直接影整體微服務化成敗,故需走向全新的革命性架構。它好比Foodpanda快送平台,能集中接受客戶下訂多家餐點將產品,並將熱餐點直送客戶端,而非集中到倉庫分發再轉送涼掉的餐點。

Foodpanda是一個生活中台,至於寬橋Gravity形塑的數據中台,亦有異曲同工之妙。使用者可透過單一入口訂閱不同來源的資料產品,然後不經由中央集散地,利用以容器搭建的四通八達資料管線,將Near Realtime或Realtime資料從來源端直送應用端,實現「資料庫私有化」(Database Per Service)。惟Gravity具有超越Foodpanda概念的優勢,一是「快取/快照」,廚房受產量限制,但資料可藉由快照和快取來突破侷限;二是「資料副本」,一筆資料可任意複製成十份、萬份甚至千萬份,反觀一份餐點無法同時送給多位客戶;再來是「即時ETL」,彷彿「一邊送餐、一邊幫你炒菜」概念,在資料輸送過程中即時完成ETL作業,最終達到開箱即用功效。

總之微服務、容器化、雲端走的都是分散架構,絕非資料倉儲供應中心所能應付。一旦借助Gravity建立數據中台,便能一次克服ETL效能不彰、Data Silo統整不易,乃至難以建立讀寫分離、Database per Services等機制的挑戰。

兩大新品助攻,簡單快速化解資料議題

接棒開講的寬橋技術顧問William Liang,揭露寬橋預計在2024年推出的新品,一是新版BROCANAL,旨在橋接微服務、容器及Gravity;另一是BROSYNC,是簡單易用且強大的資料複製/同步工具。

其中BROCANAL為一體機設計架構,內含硬軟體,讓企業輕易入手建構基於Kubernetes的Data Mesh數據中台,加速解決多資料整併、資料供應效能、核心資料庫負載過大、資料庫同步延遲、跨單位資料授權、ETL開發/資料傳輸速度慢等難題。

BROCANAL底層為虛擬機,向上搭建容器平台,接著以微服務方式在Gravity上運行各種應用服務,譬如用戶可藉由Gravity輕易建構聲明式管線,完成大量微服務佈局。含軟硬體在內皆以租賃模式提供,用戶每三年可定期更換全新硬體,維持最佳效能狀態。

究竟擁有哪些需求的用戶,適合導入BROCANAL一體機?大致包含「有資料議題需要被解決」(如核心系統負載過大、資料供應不即時、欠缺讀寫分離機制、資料無法共享統一、資料產品開發耗時、資料價值無法挖掘等)、「尚無容器環境的企業」、「無容器維運團隊的企業」等樣態。值得一提,它將Atomic打包在內,便於用戶在Low/No Code環境加速發展資料產品,實現DBaaS目的。

BROSYNC主要功能為資料複製/同步,因為很多企業隨著業務增長,連帶使資料庫的Client或Application驟增,容易衍生瓶頸,因而需要透過抄表方式,依用戶希望的形式將資料表格複製出去,紓解資料庫過度集中的負載。

除資料外,在運算上可能有類似瓶頸,此時可透過BROSYNC資料複製/同步機制,把資料庫運算分散至不同資源上同時執行,解決系統負載難題。再者應用端的位置可能與資料庫相隔甚遠,可借助BROSYNC營造一個簡單方式,將所需資料置放到應用環境,加速反應的即時性。

總括來說,BROSYNC如一把好用的瑞士刀,透過CDC (Change Data Capture)功能提供即時高效資料庫,既解決資料庫效能問題,也促進多資料源整合複製、即時資料同步,讓用戶揮別過往龜速的資料 複製同步窘境。

寬橋小檔案

寬橋創辦於2016年,以微服務專家著稱,提供微服務、K8S專業顧問服務,並使用讀寫分離(CQRS)及Data Mesh技術構建數據中台及資料產品。近年榮獲Kubernetes官方組織 CNCF 認可之 KCSP (Kubernetes Certified Service Partner)國際認證。

寬橋官網 寬橋FB粉絲團 寬橋Linkedin

部落格文章:認識數據網格(Data Mesh) 淺談分散式數據網格(Data Mesh)

熱門新聞

Advertisement