Amazon EKS開始支援採用Inferentia機器學習加速晶片的執行個體

AWS的Kubernetes服務EKS現在開始支援Inf1執行個體，由於Inf1使用專門機器學習的運算晶片，因此可大幅加速機器學習工作負載，Kubernetes用戶已經可以在美東北維吉尼亞與美西奧勒岡地區，在EKS上部署Inf1執行個體。

Google等部分公有雲業者，開始研發自家處理器和人工智慧加速晶片，而AWS也不例外，除了Arm架構的Graviton系列處理器之外，AWS在2019年的re:Invent大會上，還發表了自家設計的機器學習推理專用晶片Inferentia，並推出使用該晶片的執行個體Inf1，AWS提到，Inferentia提供高吞吐量且低延遲的運算效能，可用於加速機器學習推理工作負載。

Inf1執行個體有搭載1、4或16個Inferentia晶片多種規格，1個AWS Inferentia晶片包含4個NeuronCore，每一個NeuronCore都擁有高效能脈動陣列矩陣乘法引擎（Systolic Array Matrix Multiply Engine），該引擎可以大幅提升卷積神經網路和Transformer等典型深度學習演算法的計算速度，而且因為NeuronCores搭載大量晶片上快取，因此可以減少外部記憶體的存取，節省程序的I/O時間。單一Inf1執行個體也支援多模型預測，使用者可以跨多個模型分配AWS Inferentia晶片上的NeuronCore。

不過，要在Inf1執行個體上執行機器學習運算，開發者需要使用AWS Neuron SDK將模型重新編譯，進行Neuron最佳化，所有工具都在AWS Deep Learning AMI中提供，使用者也能自行在執行個體中安裝。用戶可以使用eksctl工具以Inf1執行個體建置EKS叢集，eksctl會自動在叢集中安裝Neuron裝置擴充套件，該套件會將Neuron裝置發派給Kubernetes調度程式，作為工作負載運算資源。