Meta開源可加速並簡化資料管理系統開發的統一執行引擎Velox

Meta開源與英特爾、字節跳動與Ahana共同開發的統一執行引擎Velox，這是一個加速資料管理系統並簡化其開發的函式庫，Velox目前仍在開發中，但是已經被驗證可提高資料管理系統的效率和一致性，Meta認為，Velox有助於整合和統一資料管理系統，因此希望開源社群加入專案貢獻，加速函式庫開發和採用。

在Meta有數十個資料運算引擎，組成龐大的基礎設施生態系，以支撐Meta所提供的產品和服務，這些引擎處理著不同的工作負載，包括SQL分析、串流處理以及資料擷取等，而且在人工智慧和機器學習用例快速發展下，特徵工程、資料預處理和其他用於機器學習和服務的引擎和函式庫隨之增加。

Meta提到，雖然資料運算引擎有其相似之處，但是引擎大多是獨立發展，這種碎片化讓維護和改善這些系統變得困難，而且執行這些工作負載的硬體也會逐漸更新，最終導致系統具有不同的功能集和不一致的語義，降低整體資料功能集的生產力。

為了要解決這個問題，Meta打造了Velox來建構更高效的基礎設施架構，Meta提到，這是一個最新的統一執行引擎，目的是要加速資料管理系統，並且簡化開發。Velox統一了資料運算引擎常見的資料密集元件，但同時又可擴充和適應不同的計算引擎，其擴展原本僅能在個別引擎進行的最佳化，並且實現一致語義框架，如此能夠減少重複工作，提高重用性同時增加了效率和一致性。

Meta進一步解釋，資料運算引擎皆由相似的邏輯元件組成，包括語言前端、中介表示、最佳化程式、Runtime和執行引擎，而Velox提供建構執行引擎所需要的模塊，包括所有在單個主機執行的資料密集操作，像是表示式評估、聚合、排序和聯合等，簡言之就是資料平面。

Velox透過統一函式庫整合資料運算系統的執行引擎，能夠讓資料運算系統更具適應性，目前Meta已於十幾個資料系統整合Velox，包括Presto、Spark和TorchArrow，還有各種內部串流處理平臺、資料擷取系統和用於特徵工程的機器學習系統等。Meta希望透過建構開源社群來支援Velox專案，並且統一各資料運算引擎孤島，模糊機器學習基礎設施和傳統資料管理系統之間的界線。