微軟為主要維護者之一的DirectML PyTorch公開預覽版本現在已經發布,該版本新增支援不少熱門的Transformer模型,包括GPT2、BERT和Detection Transformers,也就是說,開發者現在可以利用具有GPU加速的PyTorch,來訓練常用Transformer模型。微軟提到,要使用PyTorch和DirectML訓練Transformer模型的開發者,可以先參考GitHub的新範例。

這個新版本的DirectML PyTorch除了支援Transformer模型,同時也包含其他更新,包括改進記憶體消耗,並且擁有更快的效能,同時也能處理更大批次的工作。

簡單來說,DirectML讓使用者可以利用AMD、英特爾和Nvidia的GPU,在Windows硬體上使用硬體加速,進而提升機器學習訓練工作負載速度。帶有DirectML的PyTorch版本,支援在DirectX 12相容的硬體上,執行複雜機器學習模型的訓練和推理。

目前最新版本的Windows 10和WSL都支援帶有DirectML技術的PyTorch,開發者現在可以下載PyPI套件,並且開始進行Transformer模型應用開發。

熱門新聞

Advertisement