Google AI加速器Cloud TPU現支援PyTorch框架

Google在雲端加速器TPU進一步支援深度學習函式庫PyTorch，大多數的PyTorch程式，僅需使用Python套件PyTorch/XLA，進行最小程度的修改，就能夠使用TPU來加速機器學習工作負載，且在TPU還不支援的操作，自動退回到以CPU運算，而PyTorch/XLA也會生成詳細的報告，助PyTorch使用者發現應用程式瓶頸，在Cloud TPU上，能夠高效能的執行機器學習工作負載。

在2019年PyTorch開發者大會上，臉書、Google以及Salesforce Research的工程師開始了PyTorch-TPU專案，目標是要讓PyTorch社群，可以更容易運用Cloud TPU高效運算能力，因此該團隊創建了PyTorch/XLA套件，結合PyTorch API與XLA線性代數編譯器，讓PyTorch可以連結到Cloud TPU，將TPU核心作為裝置使用。

XLA是Google在2018年推出的最佳化編譯器，透過最佳化演算法運算，可以提升機器學習模型的執行速度，XLA支援處理器以及繪圖卡，也能夠在Google TPU上執行，透過XLA可以讓Cloud TPU更容易支援PyTorch。

最新釋出的PyTorch/XLA，使Cloud TPU正式支援PyTorch 1.6，在基礎設施層提供模型平行運算能力，允許開發者可以在多個TPU核心上，分散大規模嵌入表，因此有能力創建許多過去無法達成的應用。另外，Google在雲端上發布的深度學習虛擬機器（DLVM）映像檔，其中包括PyTorch等各種深度學習框架，而 PyTorch/XLA 1.6現在預裝在DLVM中，並且已經對Cloud TPU進行最佳化，供使用者快速啟用開始工作。

為了讓開發者更好上手PyTorch/XLA，Google雲端還提供一組常用深度學習模型開源實作，以及相關的教程，這些模型包括使用ImageNet資料集的圖像分類任務ResNet-50，還有Transformer、RoBERTa以及BERT等知名模型，也能使用PyTorch 1.6才加入，由臉書開發的深度學習推薦模型（DLRM）。官方提到，在Cloud TPU訓練這些模型，大部分的情況僅需要很少的程式碼更改。

艾倫人工智慧研究所（Allen Institute for AI，A12）最近在多個專案中，開始使用PyTorch/XLA以及Cloud TPU進行研究，他們利用PyTorch/XLA在最新的語言模型中，加入視覺化元件，以改善語言理解能力，A12科學家Matthew Peters認為，雖然PyTorch/XLA目前還只是新技術，但提供已經投入使用PyTorch的組織，一個加速訓練機器學習模型的新運算平臺。