在5月舉行的GTC 2017大會上,Nvidia創辦人暨執行長黃仁勳宣布推出Nvidia GPU Cloud(NGC),當時他們描述NGC是基於雲端服務的平臺,將讓開發者更容易存取最新、優化的深度學習框架,以及最新GPU運算資源,開發者若要取用NGC提供的功能,可透過個人電腦、Nvdia DGX系列整合設備,以及雲端服務,並提到這是一份完整的軟體套裝環境,可用來駕馭人工智慧所帶來的強大轉型力量。
在GTC 2017大會上,Nvidia預告將推出GPU Cloud的雲端GPU加速平臺,當時提到會在7月開始進行Beta測試。
這是基於NVDocker(或稱為nvidia-docker,Docker Engine Utility for Nvidia GPUs),而整合GPU最佳化軟體的容器登錄服務,容器的內容組成,會由Nvidia來負責持續更新、維護與測試,而這些容器可部署在個人電腦或工作站、Nvidia DGX Systems系列應用設備,以及公有雲服務等環境當中。
事實上,NGC的軟體堆疊架構,有一部分就是源自於2016年推出的DGX-1,Nvidia已將這套設備整合的軟體打包成容器套件,而現在透過NGC的平臺,這些軟體將能夠更廣泛提供給眾人使用,並且將持續更新當中所使用的程式碼,同時調校這些軟體套件的執行效能。
NGC的容器登錄服務,所提供的部分是將多種深度學習框架一一打包而成的容器,裡面包含各種相依的系統元件,以及專屬的深度學習堆疊架構NGC Deep Learning Stack。
這套軟體堆疊與DGX Systems設備所用的軟體堆疊很相似,除了底層的作業系統,再上層是以NVDocker為基礎的容器環境,裡面整合深度學習框架SDK、Nvidia CUDA Toolkit,而使用者也能在容器內自行擴增其他應用程式。在Docker容器啟動時,系統會掛載以使用者模式執行的Nvidia驅動程式與GPU。
而NGC主要是針對多種深度學習領域的開發框架,提供了專屬的容器映像登錄(Registry),像是Google所主推的TensorFlow、微軟Cognitive Toolkit(CNTK),以及Caffe、Caffe2、MXNet、Theano、Torch,並且搭配好各自相依的軟體套件,使得開發者能夠能夠以更簡便的方式,取得、使用這些能夠支援GPU加速的框架。
同時,這裡也整合Nvidia本身發展的多種軟體,像是GPU深度學習訓練系統(Deep Learning GPU Training System,DIGITS)、深度學習軟體開發套件Nvidia Deep Learning SDK、Nvidia Docker、Nvidia GPU驅動程式,以及Nvidia CUDA Toolkit,以便加快深度神經網路的設計。
如果你不太熟悉何謂容器登錄(Registry),讓我們從Docker官方的文件的解釋來理解它的架構。
基本上,Docker本身採用了主從式架構,是由Docker client和Docker daemon(dockerd)所組成,前者是一般使用者連上Docker環境的操作介面,後者負責Docker container的建立、執行與發行。至於Docker registry登錄服務則是儲存Docker映像的地方,這當中還可區分為公共型和私有型的登錄服務,目前可存取的公有型容器登錄服務,有Docker Hub與Docker Cloud。
開發者可以執行docker pull的指令,即可將需要的容器映像從設定的登錄服務當中,下載到自己的容器環境上。反之,你也可以運用docker push的指令,將手上的容器映像上傳到登錄服務(但NGC似乎並未開放這部份的功能)。
NGC上線!第一波提供的GPU最佳化軟體整合容器環境,是針對多種深度學習框架而來,並拉攏公有雲服務龍頭AWS來合作推廣
到了10月26日,Nvidia終於明確表示NGC即將正式上場,而且更明確點出它的定位,是針對全球人工智慧開發者的容器登錄服務,並且歡迎有意使用者連至NGC專屬網站(ngc.nvidia.com)登記使用,即可下載打包成容器型態的相關應用軟體套件。
在這次發布的消息中,Nvidia再次強調NGC的軟體,具有預先整合到容器、更易於使用的特性,以及Nvidia對於這些環境,也將持續進行調校、測試與認證的作業。他們希望,透過NGC的容器登錄服務,能夠提供具備最佳效能的深度學習應用環境,使得用戶在雲端服務的Nvidia GPU運算過程當中,獲得理想的執行效能。
透過瀏覽器連上https://ngc.nvidia.com之後,經過簡單的註冊程序,我們就可以登入NGC,接著,我們會看到這裡列出一些目前Nvidia所維護的軟體容器,最上面、也是最新推出的項目,是針對深度學習框架的應用,開發者可根據網頁上面的指示,取得所要用到的容器映像。
無獨有偶,同在NGC後續消息發布的這一天,公有雲服務業者的龍頭廠商AWS,也在Amazon EC2運算服務當中,推出新一代的GPU執行個體P3,當中採用Nvidia今年最新發表的Tesla V100 GPU,而在虛擬機器系統映像檔的搭配上,AWS市集提供Amazon Linux、Ubuntu 16.04、Windows Server 2012 R2、Windows Server 2016等環境之餘,他們也鼓勵大家使用Nvidia Volta Deep Learning AMI,而這套映像也整合了NGC提供的深度學習框架容器,開發者只需基於這套經過Nvidia認證的AMI,建立執行個體,然後下載所要使用的深度學習框架容器,接著就能立即開始執行深度學習的處理工作。
因此,NGC目前能以上述方式,來搭配Amazon EC2的P3執行個體使用,Nvidia也預告將支援更多雲端服務,微軟Azure將是其中之一。
在AWS市集上,我們可以搜尋、使用專為深度學習應用而設的系統映像檔,而其中的Nvidia Volta Deep Learning AMI,是專門用來支援NGC登錄服務提供的多種深度學習框架容器,本身也經過最佳化,並且能在AWS P3的執行個體當中執行。
緊接而來的NGC第二波發布!針對科學運算與高效能運算的常見系統,提供GPU最佳化與整合不同渲染引擎的軟體容器
而在11月中旬所舉行的超級電腦大會期間,Nvidia在NGC平臺上,宣布推出更多容器登錄服務項目,提供支援GPU最佳化的(HPC)軟體容器,涵蓋多種科學運算領域常見到的應用系統,以及針對HPC運算平臺的圖形化分析工具。
對於科學運算的支援上,NGC目前提供的應用系統容器映像,包括:通用原子分子電子結構系統(GAMESS),同為分子動力學模擬系統的LAMMPS與NAMD,以及冷凍電子顯微鏡資料分析軟體RELION(REgularised LIkelihood OptimisatioN)。
而在HPC圖形化分析系統的容器映像提供,Nvidia目前仍在進行Beta測試,NGC已列出3個登錄項目,都是基於ParaView這套軟體而成的系統整合環境,但差別在於各自整合了不同的Nvidia渲染引擎,例如:大規模渲染器IndeX、光線追蹤程式庫Optix,以及互動式即時圖像模擬系統Holodeck。
若要在高效能運算應用當中,取得並使用支援Nvidia GPU最佳化的軟體容器,NGC從11月中,已經針對GAMESS、GROMACS、LAMMPS、NAMD和RELION,提供對應的容器映像。
在此同時,在圖形化處理的應用系統上,Nvidia也選定ParaView這套開放原始碼的互動式分析軟體,整合搭配自家開發的軟體處理技術,例如:渲染引擎IndeX、光線追蹤函式庫Optix,以及即時互動、高畫質實境模擬平台Holodeck。
上面三張NGC的網頁操作介面,比起現今我們所看到的NGC,功能選項更為豐富,也開始透過圖表來呈現更多容器使用的資訊,而這些都是Nvidia於10月底於臺灣舉行的GTC大會期間,所揭露的最新畫面,所用的雲端服務也令人感到好奇,可能是Nvidia向AWS租用的環境——在加速運算環境(ACE)欄位上,所顯示的資訊是nv-us-west-1。
產品資訊
Nvidia GPU Cloud
●原廠:Nvidia(02)6605-5700
●建議售價:免費
●支援深度學習框架類型:NVCaffe、Caffe2、Microsoft Cognitive Toolkit、MXNet、PyTorch、TensorFlow、Theano、Torch
●支援科學運算應用系統:GAMESS、GROMACS、LAMMPS、NAMD、RELION
●支援高效能運算應用系統:ParaView
●整合Nvidia軟體:Nvidia Docker、CUDA Toolkit、DIGITS
●支援系統平臺:Nvidia DGX-1、Nvidia DGX Station、Amazon EC2 P3(Nvidia Volta GPU)
【註:規格與價格由廠商提供,因時有異動,正確資訊請洽廠商】
熱門新聞
2024-12-03
2024-11-29
2024-11-20
2024-12-02
2024-12-02