Container周報第128期：Line改用K8s建置核心機器學習叢集，vSphere則推公測計畫長期招募新功能試用者

7/1~7/31 精選容器新聞

＃機器學習叢集 #資料工程 #K8s
Line改用K8s取代Mesos自建ML叢集，影像辨識、推薦引擎和使用者圖像預測都靠它

去年Line在東京開發大會上，首度公開了自家資料工程平臺資料特徵服務化（FssS，Feature as a Service）的新架構，這是用來將資料去識別化變成基礎預設功能，在支援龐大資料量分析需求時又能兼顧隱私規範。去年Line揭露FaaS服務時，只透露這是一個專屬的機器學習叢集，但沒有揭露這個叢集是部署在Line私有雲Verda或是後來增加的K8s環境中。

Line原本就利用開源基礎架構軟體OpenStack，自行打造了一套私有雲平臺Verda，每年要維運部署超過2萬個VM，給內部4千個專案使用。因為許多專案規模較小，為了提高主機CPU的利用率，Line基礎架構團隊決定導入一款K8s管理平臺軟體Rancher，來建立方便自動化維運的K8s環境。

去年12月時，Line只先完成了K8s簡單叢集部署機制和維運自動化機制，能支援Line基礎運算需求的應用情境，但還是無法滿足原有Verda私有雲所能支援的各種基礎架構使用情況，也沒有將所有專案都搬上K8s環境。當時Line就預告，將逐漸擴大K8s導入範圍，並且增加更多外掛式設計，當時Line的目標是，要將常用的K8s管理功能變成一套功能化服務。

今年6月底，在一場Data Labs線上招募說明會中，Line日本Machine Learning1（簡稱ML1）團隊經理菊地悠揭露了整套資料工程平臺的基礎架構的最新進展。這個團隊的任務是要建立一套內部標準化和方便運用的機器學習運算工作流程，來強化各種Line服務的競爭力。

ML1團隊所負責的資料工程平臺中，其中一項功能是特徵服務化（FaaS）架構，這是一個用來提供標準化ML流程和服務的框架。這個框架包括了一套集中式的通用特徵服務，也就是使用者特徵相關的z特徵服務，穩搖功能用的Y特徵服務，以及抽取內容特徵的c特徵服務，主要由機器學習團隊維護。不過，要滿足Line對外各種機器學習解決方案，只有FaaS共用服務還不夠，ML1團隊自己還有負責維運了一套全公司通用的機器學習元件服務，以及針對特定服務提供的專門元件服務。另外，其他部門也會自己維護元件

ML1團隊自行管理的機器學習叢集服務則用來提供各種機器學習解決方案，包括機器學習團隊提供的解決方案，和其他部門也會有自行維護的ML專用元件，來滿足各自ML解決方案之用。換句話說，Line雖然有一套共用的私有雲，各部門在機器學習應用上，還是各自建立一套自行維護的專用服務元件，只有各部分通用的共同ML元件和服務，統一由ML1團隊來負責維護。

而ML1團隊除了部分服務使用了Verda私有雲平臺，例如提供z特徵服務的Hadoop資料湖，就是部署在內部基礎架構環境Verda私有雲上，但是ML1團隊也自己另外採用了一款容器管理平臺Mesos，來建立了一套自用的機器學習叢集，作為其他ML元件計算之用。像是常用的Spart的ETL處理，或是一些批次型運算，如影像辨識或音樂分析的DNN深度學習模型訓練、推薦引擎、使用者圖像預測都是利用這套Mesos容器叢集來運算，另外還有一些長期運算任務，例如用來優化機器學習模型用的ABTest功能、相似比對（Look A Like），MAB強化學習計算也會使用Mesos叢集。

但是，隨著Verda私有雲去年開始逐漸大力擁抱K8s，ML1團隊也決定換掉Mesos軟體，改用K8s來建立ML叢集，支援內部各項機器學習計算之用，並且也簡化了ML1團隊K8s運算叢集的任務，將部分長期性任務抽離到外部環境中提供，只留下核心處理和批次型運算任務，以及用來自動優化ML模型的ABTest。

去年Line在開發日時，Line機器學習開發主管並川淳就預告，希望能建立一個所有服務都能通用的自動推薦系統，並且將推薦結果標準化，透過ABTest來了解推薦模型修正的情況，例如採用不同ML推薦模型來提供推薦圖片後，透過ABTest機制來蒐集每一個模型的使用者點擊率評分，作為優化推建模型的參考依據。而且，他希望這樣的推薦機制發展到極致，就可以讓每一個服務，自動透過各自的推薦機制結合ABTest機制，自動優化每個服務各自所用的推建模型，這是他去年揭露的發展方向。而要實現這個目標，並川淳計畫將ML1團隊的機器學習叢集，改為K8s架構，來善用GPU資源的調度。雖然，今年6月的Data Lab說明會中，沒有進一步揭露這樣的推薦結合ABTest自動優化ML的設計，是否已經完成，但至少，Line已經先將機器學習叢集的環境，轉換到主流的K8s架構了。

#vSphere #公開測試招募
VMware要找用戶來搶先試用新功能，vSphere推出持續公測計畫

VMware今年推出了史上最大改版的虛擬化平臺vSphere 7.0，將K8s內建到自家核心虛擬化產品中，這個改變將原本封閉專屬架構的vSphre，轉而變成了採用開源技術的開放架構平臺。因為K8s原本就有一套步調更快的產品改版和發布計畫，每年發布4次新版本。VMware也開始調整自家產品的發布計畫，第一個動作就是推出了持續公測計畫（Continuous Beta），只要填妥申請表單，審查通過就能加入。這個計畫將提供兩種測試版本，由VMware環境提供的託管測試版，以及可以讓測試用戶下載安裝的版本。VMware也會派出產品經理、技術支援工程師來了解Beta版的試用情況，並提供了一個內部討論區讓測試用戶交流。測試用戶也可以直接提出功能、配置或使用界面設計的建議。

＃超融合架構 ＃Azure Stack HCI
微軟第二代超融合基礎架構產品瞄準混合雲管理，採核心數計價瞄準中小企業需求

微軟在今年7月合作夥伴大會Inspire上，公布了第二代超融合基礎架構解決方案AzureStack HCI（Hyperconverged Infrastructure），主打更強的混合雲管理功能。微軟於去年3月宣布Azure Stack HCI，是該公司第二個超融合架構方案（第一個是Azure Stack Hub）。Azure Stack HCI關鍵是Hyper-V及Windows Server 2019軟體定義資料中心（SDDC）、儲存空間直接存取等。新的Azure Stack HCI是一種Azure服務。它的底層不只是單純的Windows Server，而是原生整合Azure混合雲管理功能（包括備份、安全中心及Azure Monitor）。新版採每核心計價訂閱，可用來建立小型環境，像是遠端辦公室或分公司，例如訂閱8核心伺服器或16以下的VM。

#基礎架構管理 #K8s
Lyft釋出自家基礎架構管理流程工具，可用來管不同常用工具也能調度K8s

Lyft開源了自家內部使用的基礎設施工具Clutch，可以提供一套工作流程的管理工具，可以讓工程團隊能夠建置、執行和維護工作流程，包括特定的安全機制以及存取控制，另外，Clutch還提供了管理AWS、Envoy和Kubernetes等平臺的功能。這套平臺由兩部分構成，後端是以Go開發，採可擴充設計，可進行一般身份驗證，並且提供系統的可觀察性以及日誌紀錄稽核功能。前端則用React，提供以工作流程來設計UI操作，讓使用者不需要先具備豐富的JavaScript知識，能以更少的程式碼創建新功能，且更易於維護。Lyft預計在2020年底前，內部7個工程團隊都會採用Clutch來統一維運工作的管理。

#CICD #Puppet
老牌DevOps工具Puppet更新企業版功能，強化自動化範本共享機制

DevOps愛用的老牌自動化組態管理工具Puppet前幾個版本加入了了計畫（Plans）功能，可以使用程式邏輯，來調度不同的任務與工作流程，這個功能可讓使用者以重複且可擴展的方式，跨基礎設施執行多步驟變更，最近Puppet更新了Puppet Enterprise中，更強化了這個計畫功能，甚至可以整合Puppet Forge中的共享內容，來進行複雜的調度任務和計畫，甚至是部署應用程式。官方舉例，當使用者要準備發布應用程式的基礎設施，需要執行配置負載平衡器、使用VMware配置節點，還有設定Apache伺服器等工作，使用者都能夠直接參照模組來完成這些重複性工作。

#ECS #DevOps自動化
AWS容器服務ECS推出新款命令列工具Copilot，更容易建立CI/CD流程

AWS釋出新的ECS命令列工具AWS Copilot，相較於2015年釋出用於容器服務Amazon ECS的命令列工具，Copilot可以讓使用者不用手動管理低階的基礎設施，就能在ECS上部署應用程式。AWS在去年底發布這個新的ECS命令列工具的消息，現在正式更名為Copilot。使用者只需要提供Dockerfile，再加上幾個指令，Copilot就能夠在AWS上創建和啟動容器，自動以高可用性部署，並創建和配置負載平衡器，Copilot甚至可以創建CI/CD工作管線，在開發者將新的程式碼提交推送到儲存庫的時候，自動重新部署應用程式新版本。Copilot還能跨地區和帳號設定測試和生產環境，而用戶也能透過命令列工具，監控系統並且進行除錯。

#Rancher #SUSE ＃併購
SUSE終於揭露K8s布局併購成果，買下Rancher Labs強化大規模K8s部署能力

早在去年底，SUSE工程產品創新總裁Thomas Di Giacomo就預告將會透過併購來強化自家K8s產品的布局，在今年7月終於揭露了併購成果。SUSE買下了2014年成立成立的容器軟體商Rancher Labs，其主要的產品為Rancher，可讓使用者管理和大規模部署Kubernetes到資料中心、雲端和邊緣等各種基礎設施上，Rancher目前擁有37,000個活躍用戶，下載量超過1億。另外，Rancher Labs還開發了為Kubernetes叢集設計的Linux發行版K3OS，以及邊緣專用的Kubernetes輕量級版本K3s。Rancher Labs在併入SUSE之後，將繼續維持開放的策略，同時支援多個Kubernetes發行版和作業系統版本。Rancher採用無關基礎設施的架構，支援所有經過雲端原生運算基金會（CNCF）認證的Kubernetes發行版，包括Google GKE、Amazon EKS和微軟AKS等。Rancher Labs執行長梁勝表示，併購程序將在幾年稍晚時結束，他也會進入SUSE領導合併的工程和創新部門。

#K8s #VMware
VMware將K8s輸入控制器專案Contour捐給CNCF

CNCF雲端原生運算基金會宣布接收來自VMware的開源Kubernetes輸入（Ingress）控制器Contour，這個專案原本是一家新創Heptio所開發，Heptio後來被VMware併購，Contour也就進到了VMware旗下。Contour透過部署Envoy代理作為反向代理和負載平衡器，來控制流入Kubernetes的流量，Contour支援動態更新，並可透過限制命名空間支援多團隊的Kubernetes叢集，能夠方便地配置虛擬主機和TLS憑證，並提供進階的負載平衡政策。Contour已經被多家企業使用，如Adobe就用來作為自家多租戶Kubernetes平臺Ethos的輸入控制器。社群也已經制定了Contour明確的發展路線，計畫支援Kubernetes Service API以及跨Kubernetes叢集路由服務，另外，Contour還會擴大支援Envoy，加入速率限制、身份驗證以及存取日誌服務等功能。

#網格服務 #微服務管理
網格管理平臺Kuma工具推0.6新版，可支援超複雜異質架構的網路流量調度

知名的開源API管理工具商Kong最近翻新網格管理平臺Kuma釋出0.6，同時也將這個工具捐給CNCF基金會，成為社群自主發展的孵化專案之一。0.6版特色是支援混合通用模式，讓Kuma能夠支援異構環境的複雜應用程式，能跨包括虛擬機器、Kubernetes叢集和多個資料中心，控制網路流量。現在使用者不只可以分別為Kubernetes和虛擬機器工作負載創建不同的服務網格，還能將兩者放到同一個網格中。Kuma 0.6具有自動服務連接功能，可跨企業環境與平臺自動且抽象化服務網格連接，混合通用模式可在整個企業網路中，提供開箱即用的管理功能，而且新的Ingress資料平面模式，可自動地跨平臺和叢集服務網格溝通。另外野心增加了DNS服務探索，更方便管理跨雲架構中的大量微服務。

責任編輯／王宏仁

更多Container相關動態

• GitLab新版13.2強化專案工作流程迭代設計，加強支援任務追蹤工具Jira
• HPE GreenLake彈性部署服務開始提供Anthos預建置伺服器