原本GitLab內部的開源資料整合平臺Meltano,經過3年的發展,現在已經成熟決定離開GitLab,向外募集420萬美元,成為獨立的公司,繼續專注於發展開源資料整合和DataOps領域應用。
在去年中的時候Meltano調整了發展方向,開始專注朝向開源資料整合和ELT(Extract、Load、Transform)工作管線平臺發展,並且擁抱由社群維護的資料連接器標準Singer。Meltano是一個使用MIT授權的開源平臺,相依於一系列開源專案,除了Singer,還有資料轉換命令列工具dbt,以及工作流程管理專案Apache Airflow等。
有別與更常聽到ETL(Extract、Transform、Load)資料工作管型模型,Meltano所採用的ELT模型,在資料進入資料湖之前,不會先進行資料轉換,而是直接儲存原始資料格式,這使得載入時間更快,不過對於資料處理引擎的要求就更高,因為需要按需提供資料轉換。
官方提到,在發展方向調整之後,他們發現,使用開源技術,並且根據DevOps原則所發展的資料工具,有其市場需求。
過去3個月內,由於開源社群的大力幫助下,官方發布了Meltano SDK,讓使用者更容易建置連接器,並且還發布了MeltanoHub,使得社群維護的連接器更易於被探索使用,而Slack社群中的參與者也達到了1,200名。官方提到,他們看到Meltano活躍成長,因此思考了未來發展可能性,希望Meltano可以成為建構下一代資料基礎設施的角色,並將資料生命周期管理帶入DataOps時代。
因此現在Meltano離開GitLab獨立出來,使得Gitlab能繼續專注於DevOps領域,而Meltano發起外部募資,走出自己DataOps的路。官方提到,這些資金供他們建立團隊來加速產品開發,也會用於強化周圍開源社群,最終,Meltano會走向商業化,在維持開放核心的情況下提供SaaS。
在產品的發展路線上,官方認為,Meltano和Singer已經成為DataOps開源資料整合的重要組合,他們會致力於支援ETL和反向ETL,並且改進Singer協定和Meltano,來增加系統的吞吐量和整體效能。
熱門新聞
2024-12-24
2024-12-22
2024-08-14
2024-12-20
2024-11-29