Uber宣布將其為TensorFlow、Keras和PyTorch開發的分散式訓練框架Horovod開源專案,貢獻給深度學習基金會。深度學習基金會則是在Linux基金會旗下,負責進行人工智慧、機器學習和深度學習領域創新。
Horovod在2017年10月,Uber以Apache 2.0授權許可開源發布,Horovod能讓人工智慧開發者輕鬆的使用TensorFlow、Keras和PyTorch機器學習框架,訓練分散式深度學習模型。不少雲端服務都已經整合了Horovod,包括AWS深度學習服務AMI、Azure資料科學虛擬機器、Databricks Runtime、GCP深度學習虛擬機器、IBM FfDL、IBM Watson Studio和NVIDIA GPU Cloud等。
Horovod使用Open MPI在節點間傳遞訊息,得力於Nvidia的集體通訊函式庫(Nvidia Collective Communications Library,NCCL)為其提供的最佳化高效能通訊演算法,讓Horovod可以使用多達512個Nvidia Pascal GPU,在Inception V3和ResNet-101達到了90%的擴展效率,而VGG-16也有68%的擴展效率。
Horovod專案負責人Alex Sergeev表示,Uber開發了Horovod,讓各行各業的人工智慧研究人員,能以更快且更直覺的方式進行深度學習模型訓練,而在貢獻給深度學習基金會之後,隨著Horovod功能和應用方面的成熟,將進一步擴展其在開源生態系的影響力。
熱門新聞
2024-12-16
2024-12-16
2024-12-16
2024-12-13
2024-12-13