Container周報第119期：Spotify揭露第三代ML平臺，2020年改用K8s調度運算資源

12/1~12/21 精選容器新聞

＃Kubeflow #K8s叢集
Spotify揭露第三代機器學習架構，2020年改用K8s調度運算資源

最近知名音樂串流平臺Spotify在先前北美Kubcon大會上，對外分享自家機器學習平臺的發展歷程，並首度公開了2020年要上線的第三代機器學習平臺架構，採用了Kubeflow，改以K8s來作為算機器學習運算資源的主要調度平臺。Sptify經常需進行大量機器學習訓練和推論，來分析音樂風格和提供用戶各種個人化推薦音樂。2018年，Spotify自行利用開源資料分析技術，後端採用Scala語言，再搭配Python相關工作流程工具，自建了第一代的機器學習平臺，方便分析團隊快速進行各種ML專案。

第一代的特性是，提供了一系列的選項套餐，方便專案人員運用到不同需求的機器學習應用。但是，Scale語言對資料分析人員來說太難，前後端技術的切換成了不少專案開發的困擾，要統一不同模組間的功能、版本和配置難度也頗高。所以，2019年，Spotify團隊決定，改用Google的Tensorflow Extended（TFX）工具，建立機器學習專案開發的標準化，從儲存形式、預設函式庫、到ML工作流程都有一套制式作業規範，尤其盡量採用Tensoflow擴充元件如Tensorflow Transform、Tensorflow Model Analysis、Tensorflow Serving等，來建立跨團隊的共用標準。

最近，Spotify決定，進一步連ML工作流程和運算資源都進一步建立標準化，開始導入了Kubeflow Pipelines（KFP）。這個架構會將主要的運算元件先打包成Docker化容器應用，再利用Kubernetes來部署成容器應用，和調度運算資源支援龐大運算所需。Spotify表示，先前為了標準化而改用TFX的各種努力，成了後來導入KFP流程的成功關鍵，分析團隊不用重新學習另一套ML任務的管理方式。
另一個KFP的好處是，其SDK允許建立共享的元件，分享給其他流程之用。因此，Spofity產品主管Josh Baer撰文透露，其中一個團隊建立了一段不錯的流程和元件組合，可以分享給其他團隊使用，不用重複造輪子，更有助於建立所有團隊的共通工作流程範本。
下一步，Spofity透露，將進一步發展成分析特徵的共享化，將重要的ML功能變成內部共享的微服務，來加快組合運用的方便性，目前他們正在進行機器學習模型服務化的設計。

#雲端供應商標籤 #新版K8s
今年最終版釋出，Kubernetes 1.17來了

Kubernetes繼續維持著一年四次更新的步調，在12月9日，釋出了今年最後一次的更新1.17版。這個版本最大特色是，雲端供應者標籤成了正式功能，開發者可以用這個標籤，在節點或儲存空間建立時，來標記所用的雲端供應來源或服務所在位置，通常是用來標記這個節點位於哪一個雲端供應者的那個地區（zone）或區域（region），方便辨識和管理分散在不同公雲或私雲平臺上的K8s運算資源。另一方面，等於也可以透過K8s排程器（Scheduler）來調度和部署跨雲K8s節點的優先順序了，或是可以確保某一個儲存空間，都會在同一個雲端供應商區域，避免因跨區儲存而增加了傳輸費用。另外有幾個儲存功能進入了Beta測試版，可預期明年會成為正式功能，包括了儲存快照功能和儲存介面標準CSI都在1.17進入了Beta1版。

#K8s管理 ＃混合雲管理
D2iQ發表企業級K8s叢集管理工具

雲端維運軟體商D2iQ正式推出了企業級家K8s跨叢集管理工具Kommander，可以跨公雲或私雲K8s叢集，自動派送各種治理政策，來建立一個全生命週期的聯合管理流程，要專攻Day2維運市場。這套軟體提供了一個集中式的跨叢集管理介面，也可監控混合雲架構的K8s叢集，也可針對不同叢集進行配置和政策派送、安全規範、更新等管理措施。另外，Kommander還提供了一個資安控管機制，特別用來管理不同應用程式的存取和派送途徑，已確保具有合法權限者才能存取這些應用服務。

#軟體更新 #CNCF
CNCF第一個畢業的規範，軟體更新安全規範The Update Framework出爐

軟體更新安全開源規範The Update Framework（TUF）已經達到CNCF（Cloud Native Computing Foundation）的專案畢業狀態，而TUF也是第一個從CNCF畢業的規範（Specification）專案。TUF專案內含有一組函式庫、檔案格式和公用程式，讓用戶能夠保護新的和現有的軟體更新系統。TUF設計提供最小化影響的方法，並且能彈性地滿足各式軟體更新系統需求，且容易與現有的軟體更新系統整合，包括AWS、Google、Cloudflare、微軟、Docker、IBM、紅帽與VMware等大型企業都採用。CNCF技術長表示，現在開源軟體無所不在，並且在許多裝置上無縫地更新，而TUF在軟體供應鏈上扮演重要的角色。

#GCP #VMware #Serverless
Cloud Run for Anthos加入流量管理功能且支援VMware叢集

GCP的無伺服器容器服務Cloud Run for Anthos，最近新增了多項功能，不只加入了流量管理，也讓Cloud Run現在可以在企業就地部署的VMware叢集中執行，另外還整合了Stackdriver監控服務，讓用戶能直覺查看多項重要服務指標。在可以按配置比例，隨機路由請求或是RPC到不同的服務修訂版本，這項功能可以讓用戶對不同版本的應用程式進行測試，像是對新版應用程式進行金絲雀部署，先發送少量流量到新版本的服務，接著再逐漸提高流量比例，以確保服務的可靠性。

#GKE #Anthos
Google揭雲端原生資安新模式，將支援GKE和Anthos

最近Google悄悄地揭露了詳細的雲端原生資安的新模式，稱為BeyondProd。Google在2014年提出以零信任設計為主的網路安全架構BeyondCorp，現在進一步將資安防護架構，延伸到機器、工作量和各種雲端服務，設計出這個新的BeyondProd。Google訂出了幾項安全原則，包括了在邊緣端保護網路、禁止內部服務共用信任、只用信任機器執行來歷清楚的程式碼、跨服務使用同一套服務阻斷點政策，變更改版要簡單自動又標準化、跨工作量要隔離。Google也將這套資安框架套用到自家產品上，可利用雲端GKE服務和混合雲平臺Anthos和幾個開源資安工具，例如可透過Envoy來管理TLS流量的政策，可用gVisor容器沙箱技術來建立工作量隔離，來設計一套符合BeyondProd原則的資安作法。而Anthos更參考這個資安框架，建立一套自己的現代化應用程式資安建議。

責任編輯／王宏仁

更多Container相關動態

CoreDNS釋出1.6.6版，增加新bufsize外掛

＠資料來源：iThome整理，2019年12月