Cloud周報第170期：Nvidia聯手公雲業者推出DGX Cloud超級電腦運算託管服務，月租費110萬元起

重點新聞（03/23～03/29）

 聯合查核    GCP服務  

GCP服務應臺灣金融機構上雲需求，完成獨立第三方單位聯合查核

近日Google雲端GCP服務在臺完成首次聯合查核，GCP也是第一個公開揭露，自家GCP服務應多家金融機構上雲需求，已接受獨立第三方單位聯合查核的公雲業者。依金管會對於金融業上雲稽核程序明定，除了自行委托第三方查核機構之外，使用同一雲端供應商的金融機構，也可以聯合委託第三方來查核雲端業者。

但臺灣金融業開放上雲3年多，金融企業上雲的查核，以往大多是採取個別委託來完成查核，如國泰、富邦等，反觀採用聯合委託模式，只有在如歐洲等國外較常見，不過，就在Google臺灣GCP服務接受獨立第三方單位完成聯合查核後，臺灣終於有第一個公開的金融業上雲聯合查核案例。

這次聯合查核共有三家金融機構，主要包含Iaas與PaaS服務的查核。GCP表示，第三方查核單位可以將聯合委託的多家金融業者所提出共同查核要求，整合到統一查核作業中，向雲端業者進行查核，讓這些相同查驗作業可以在同一批查核程序中完成，除了簡化查核程序，也能讓查核作業變得更有效率，進而加速金融業上雲的使用，對於雲端廠商而言，也能減少大量查核次數而增加的資安風險。

DGX Cloud     生成式AI  

Nvidia推出DGX Cloud託管服務，讓企業不需購買整套超級電腦系統就能打造專屬生成式AI

在今年GTC大會上，Nvidia與Oracle OCI、GCP、Azure等公雲業者合作推出DGX Cloud超級電腦運算託管服務，讓企業用戶不需購買整套超級電腦系統，就能在雲端上使用其提供的運算能力，使用雲端DGX運算資源來進行生成式AI模型或應用開發。至於訂閱收費機制，未來將依每執行個體來計算，每月收費36,999美元起，相當於臺幣約110萬元。

DGX是Nvidia所推出的AI超級電腦運算系統，新推出訂閱制DGX Cloud服務，可透過雲端提供DGX AI運算資源，方便企業使用進行模型訓練與開發，並以執行個體的形式提供，單一執行個體皆包含8個最新H100或A100 Tensor核心GPU，單一節點可提供最高640GB的GPU記憶體，多執行個體也能透過網路介面卡Nvidia CX-7與Bluefield-3資料處理器，建立互連系統的運算叢集，來滿足生成式AI訓練所需的效能。

DGX Cloud本身支援了Nvidia自家AI軟體及開發工具，如Nvidia AI Enterprise函式庫套件等。目前已有50家企業採用，涵蓋網路、軟體、醫療、媒體和金融行業等。DGX Cloud服務將在Oracle OCI推出，Azure則在第二季提供，GCP之後將推出。

Azure    GPT-4   

微軟Azure OpenAI以預覽推出GPT-4大型語言模型服務

最近微軟宣布旗下Azure Open AI雲端服務，將以預覽版推出更強更準確的GPT-4大型語言模型服務，讓開發人員可以使用該模型來開發自己的生成式AI應用，並搶先在4月1日收費前開放用戶試用。

在這次更新中，雙方合作首要重點就是強化BigQuery與MongoDB整合功能，新功能將使開發者更容易把串流資料從BigQuery傳送到MongoDB資料庫中做進一步處理，加快應用開發。

在計價方面，未來根據處理是8K或32K文本的GPT-4模型，提詞（prompt）收費為每一千個Tokens收費約0.03∼ 0.06美元，若是回應 （Completion）價格更高，每千個Tokens收費則介於0.06∼0.12美元

生成式AI    雲端服務  

Nvidia發表AI Foundation雲端服務，推出3種生成式AI模型製作服務

日前，Nvidia發表稱作AI Foundation的雲端新服務，可提供語言、視覺和生物生成式AI模型製作服務，讓企業可以用他們各自資料做訓練，量身打造出自己的LLM語言模型或生成式AI應用。

其中，NeMo是文字轉文字的生成式AI模型製作服務，除了使用自己的語言模型之外，企業也能使用已經訓練好的NeMo語言模型 ，其中最大GPT-530B模型參數可達5,300億個，以此打造出生成式AI模型，可提供類似ChatGPT的體驗，如幫忙把財務文件做摘要，或建立品牌內容，或用個人風格來改寫Email信件等。

用來提供視覺語言模型製作服務的Picasso則是AI Foundation第2項雲端服務，可透過生成式AI將文本生成出高擬真的影像、高解析度影片，以及3D幾何圖形，生成的影像也可以輸入到編輯工具或3D設計和虛擬協作平臺Omniverse中來建構擬真的虛擬世界或數位分身應用。

第三個BioNeMo則是用在藥物研發，使研究人員可以快速使用生成式AI模型生成蛋白質和生物分子的結構和功能，加快新藥物開發，或是也能用於建立預測性生物分子AI模型。

AI Foundation未來將透過DGX Cloud雲端服務提供。目前已有Adobe、Getty Images、Morningstar、Quantiphi與Shutterstock等業者採用。

雲端資料倉儲     ML推論引擎  

GCP雲端資料倉儲BigQuery發表新的ML推論引擎強化機器學習功能

近來，GCP在雲端資料倉儲BigQuery中推出新的ML推論引擎，讓企業可以更容易在BigQuery中使用ML模型，而不需要將BigQuery內資料匯出，就能執行預測分析。

新推出的BigQuery ML推論引擎，則是強化了BigQuery對於ML的支援功能，除了能使用預訓練Google ML模型，用於自然語言處理、視覺或翻譯推論，使用者也可將外部模型導入BigQuery ML中，除了能使用TensorFlow開發框架，還支援各種主流的模型格式，包括TensorFlow Lite、ONNX交換格式以及XGBoost等。另外也能交由全託管式機器學習平臺Vertex AI來統一管理在BigQuery中模型發布流程。

AWS     執行個體  

AWS發表搭載Nvidia H100 GPU的P5執行個體，可提升8倍深度學習運算效能

日前AWS推出擁有8個H100 GPU的P5執行個體，深度學習效能是前一代P4執行個體的8倍，可提供高達20 exaFLOPS運算效能，用來構建和訓練生成式AI模型或大型語言模型。

P5執行個體也支援了第二代EFA網路介面，可以將多執行個體GPU節點透過網路相連擴展到20,000個H100 GPU的互連，以此建立EC2超級叢集（UltraClusters），可以用於加速大規模生成式 AI模型訓練和推理。

P5執行個體配備了8個Nvidia H100 GPU，具備有16 petaFLOP混合精度效能，以及配置640 GB的高速記憶體頻寬，網路傳輸速度比前一代提升了8倍，每秒可達到3,200 Gb，與前一代相比，不只能將ML模型訓練時間縮短6倍，也能減少40%訓練成本。

圖片來源／Nvidia、Google

 更多Cloud動態 

1.HPE併購IT維運平臺商OpsRamp來強化GreenLake雲端管理功能

2.Google雲端GCP服務推出互動式數位主權探索工具

3.AWS資料無塵室服務Clean Rooms正式推出上線

4.GCP推出搭載低功耗Nvidia L4 GPU的G2 VM服務，可執行大型推理AI工作負載

資料來源：iThome整理，2023年3月