由LinkedIn開發並與微軟合作開源的特徵商店專案Feathr,現在貢獻給LF AI & Data基金會成為沙盒專案,期望使人工智慧社群的DataOps和MLOps變得更加簡單容易。
LinkedIn在2017年時發布Feathr,並且在2022年的時候與微軟合作開源,Feathr是一個企業級高效能特徵商店,可自動計算資料特徵值,並聯合特徵創建訓練資料庫,官方提到,Feathr使用稱為Point-In-Time-Correct語義,來避免資料洩漏,並且可對快速的網路服務即時提供和部署特徵值。
在LinkedIn中,已經有數十個應用程式使用Feathr,定義、運算用於訓練的特徵,並部署到生產環境中。LinkedIn提到,與過去其他特定於應用程式的特徵工作管線相比,Feathr能夠大幅減少向模型訓練工作流程添加新特徵的時間,因此提高了執行時效能。
之所以LinkedIn當初需要開發Feathr,是因為遭遇到擴展特徵工作管線的問題,在Feathr中,有數百個模型被用於搜尋、Feed、廣告等應用程式,LinkedIn提到,準備和管理特徵一直都是大規模機器學習應用程式中極度耗費時間的工作之一,而這個龐大的負擔,直接傷害開發團隊創新和改進應用程式的生產力。
為此,LinkedIn建構了Feathr,Feathr是一個抽象層,提供用於定義特徵的通用特徵命名空間,以及從機器學習流程中,按名稱計算、存取特徵的通用平臺,Feathr減少了團隊管理和定義特徵工作管線的需求。Feathr作為抽象層,創造了特徵生產者和消費者的角色,生產者可以定義特徵,並且註冊到Feathr,供消費者存取和匯入特徵到機器學習模型工作流程中。
Feathr的具體功能,包括能夠定義一次特徵,應用在不同的場景中,Feathr還能夠連接各種離線資料來源,像是資料湖、資料倉儲,並將來源資料轉換為特徵,將特徵資料從離線系統傳送到線上儲存,加快線上服務的速度,同時Feathr也有利於團隊協作,團隊成員可以更簡單地發現功能,並且在團隊中共享。
Feathr加入LF AI & Data基金會,目標是要進一步推動專案,並且擴大使用者基礎,發展開發者社群,並且使Feathr能夠與其他專案協作、整合。Feathr加入LF AI & Data基金會的第一步,是成為沙盒專案,開發者現在可以在GitHub儲存庫,了解更多細節並且參與貢獻。
熱門新聞
2024-11-05
2024-11-05
2024-11-04
2024-11-02
2024-11-05
2024-11-06