兼顧高效能與行動性，Nvidia將主從式架構導入XR內容呈現

關於虛擬實境（VR），乃至於擴增實境（AR）、混合實境（MR）等數位內容，統稱為XR，同樣是近期相當受到關注的熱門技術，但在商業應用領域，尤其是專業繪圖處理的發展上，仍有許多挑戰要克服。

例如，在影像渲染處理的效能上，VR需同時支援更高的解析度（3024 x1680）與幀率（90 fps），以及更低的動態捕捉與顯示延遲（低於20毫秒）。

而為了達到這樣的要求，在設計相關產品內容時，負責這些工作人員戴上的虛擬實境頭盔，可能就必須以有線的方式連接到個人電腦或工作站，稱為接線頭戴式裝置（Tethered Headsets），這種解決方案可提供高效能，但成本高、行動性較差（必須在固定空間使用）。

除此之外，市面上，還有整合多種功能的獨立設備，雖然擁有較好的行動性、成本較低，然而，由於運算能力、記憶體、影像解析度不足，效能與使用體驗並不理想。

對此，GPU大廠Nvidia希望兼顧高品質影像處理，以及不受空間拘束的要求，而開始發展一種基於主從式架構而成的解決方案，名為CloudXR。

在這套架構當中，企業可透過遠端伺服器執行的XR應用程式，將VR、AR、MR等數位內容，經由乙太網路，以及5G、Wi-Fi等無線網路，傳輸到個人端設備，像是VR頭盔、智慧眼鏡等頭戴式顯示裝置（Head-mounted displays，HMDs），以及智慧型手機、平板電腦、筆電。

這當中會牽涉多種軟硬體技術的搭配，Nvidia將會提供專業繪圖處理器RTX系列GPU、vGPU軟體的虛擬工作站驅動程式RTX Virtual Workstation（RTX vWS，前身是Quadro Virtual Data Center Workstation，Quardro vDWS），以及執行在個人端裝置的軟體開發套件CloudXR Client SDK。

2019年下半登場，Nvidia先推軟體開發套件試水溫

就產品發布時程來看，CloudXR最初是在2019年10月舉行的MWC LA大會期間，首度公開亮相，Nvidia宣布將推出專用的軟體開發套件1.0版，讓企業可以基於Nvidia GPU，透過相容於OpenVR這個普遍用於VR硬體與軟體介面標準的應用程式，以及5G這類超高速無線網路的傳輸，來建立與提供高品質的AR與VR體驗。

當時Nvidia表示，這套軟體開發套件的執行位置，可以是雲端服務環境，或是企業內部資料中心的伺服器（搭配Nvidia GPU），而在個人端的部份，使用者可運用安裝Windows、Android作業系統的設備，像是手持式平板電腦、VR頭戴式裝置、AR眼鏡，讓多人能夠在線上檢視大量3D模型，或是模擬災難救援演練。

而在CloudXR SDK 1.0包含三大核心元件，分別是：用於資料中心伺服器的驅動程式，用於Windows與Android個人端裝置的VR/AR串流程式庫，可傳輸OpenVR應用程式的大量內容，以及針對行動個人端裝置的軟體開發套件，可用於串流傳輸雲端服務渲染的數位內容。

到了2020年5月舉行的GTC春季大會期間，CloudXR SDK 1.0正式推出，對於三大核心元件的敘述略有修正。首先是伺服器端驅動程式（Server Driver），提供伺服器端的二進位檔案與程式庫；第二是個人端應用程式（Client App），提供不同作業系統專屬的範例應用程式；第三是個人端軟體開發套件（Client SDK），提供不同作業系統專屬的的二進位檔案與程式庫。

2020年下半，AWS與騰訊雲等兩家公有雲業者力挺，旗下GPU執行個體服務可建置伺服器平臺

既然CloudXR頂著「Cloud」的名號，除了本身提供伺服器軟體運作架構，能否在公有雲服務環境架設這個平臺、提供服務，自然也受到關注。

2020年10月，Nvidia與公有雲服務業者AWS宣布，將在AWS的雲端服務環境當中，提供Nvidia CloudXR平臺──用戶可運用Amazon EC2的P3與G4這兩個執行個體服務，架設CloudXR平臺。此時的CloudXR平臺包含的元件更豐富，不只是CloudXR SDK，還包括虛擬工作站軟體vWS，以及Nvidia發展的多種人工智慧軟體開發套件。

Nvidia表示，CloudXR SDK將支援所有相容於OpenVR標準的應用程式，以及手機、平板電腦、頭戴式顯示裝置等個人端設備，當中會運用備自我調適能力的網路視訊串流傳輸協定，可持續根據網路連線狀況的變化來進行調整，透過難以察覺傳輸延遲的方式，帶來豐富的操作體驗；vWS將以最快的幀率來提供最身歷其境的呈現，以及最高品質的繪圖處理，而且，相關平臺的建置與維運，可由AWS這類雲端服務業者來代勞，或是部署在企業資料中心；至於人工智慧軟體開發套件，則是能夠加快處理速度，以及強化沉浸式體驗，Nvidia表示，可整合或導入DLSS（2.1版可支援VR）、Jarvis、Audio2face等多種軟體技術。

而在GPU的配置上，由於CloudXR的圖形運算處理主要是在伺服器執行，因此，Nvidia建議，若要在商用環境提供這類型服務，並考量到日後性能擴充需求，可建置RTX伺服器平臺，也就是搭配Quadro RTX系列的專業繪圖加速卡（Turing架構的GPU），以便支撐運算量負載，或是虛擬工作站軟體驅動程式，支援多人連結使用。若只是進行一對一測試或用於傳遞簡單的XR內容，Nvidia表示，此時，伺服器搭配基於Pascal架構的GPU即可。

在公有雲的部分，CloudXR除了有AWS宣布率先支援，Nvidia在2020年12月中舉行的GTC中國大會期間，也公開展示騰訊雲（Tencent Cloud）的CloudXR串流體驗，以及先期採用的廠商案例：光輝城市（Sheencity），他們將CloudXR伺服器部署在騰訊雲GPU雲端運算執行個體（腾讯云GPU云计算实例），以此輔助自家的雲端3D視覺設計平臺軟體服務Mars。

2021年上半，2.0版與2.1版相繼問世，支援更多個人端裝置與蘋果iOS平臺，Azure也加入公有雲支援行列

到了今年，Nvidia陸續於1月與4月發布CloudXR 2.0版與2.1版。

以2.0版而言，CloudXR支援更多個人端設備，像是Oculus Quest 2、HoloLens 2，以及採用Android作業系統與Arm-64-v8運算架構的裝置。在內容呈現的方式上，這一版也增添了「注視點渲染比例縮放功能（Foveated Scaling）」，能改善視訊呈現品質來匹配頭戴式顯示裝置的光學顯示方式。同時，Nvidia在此新增「延遲性組態Latency Profiler」，可展示CloudXR串流傳輸流程的多種延遲性，供應商與開發人員得以了解XR內容呈現的延遲與效能表現。

在後續發布的2.1版當中，CloudXR最大的突破是支援了蘋果iOS裝置的AR應用──採用iOS 14.2的智慧型手機iPhone（6s到12），以及平板電腦iPad系列設備，均可基於Apple ARKit這套軟體框架，來執行與開發各種AR應用程式，而CloudXR就是透過ARKit的協助，才能在iOS裝置連至伺服器端串流傳輸上面提供的AR內容。新版CloudXR提供了Apple iOS Client SDK，當中包含iOS程式庫檔案與StreamSDK框架檔案，以及iOS AR範例應用程式。

以CloudXR SDK來看，2.1版總共提供了哪些個人端環境的軟體開發套件？除了Apple iOS Client SDK，還有Windows、Android WaveVR、Android OVR、Android ARCore、Windows Mixed Reality，Nvidia也針對幾種個人端平臺範例應用程式，更新搭配的軟體元件版本，例如，WaveVR、Android、Windows。

而在網路傳輸方式上，2.1版也調校了串流參數（Streaming parameters），以因應網路流量大幅抖動（high jitter）的狀況；CloudXR傳送視訊位元流（Video bitstreams）時，現在也能在位元流的標頭發布通知，表示要使用sRGB色彩空間的傳輸特性。

就CloudXR伺服器在公有雲的部署選擇上，同樣在4月傳來新消息。

首先是AWS，他們在雲端軟體應用市集（Marketplace），開始提供CloudXR的AMI映像檔，當中整合微軟的Windows Server 2019作業系統，以及Nvidia的CloudXR伺服器驅動程式與RTX vWS虛擬工作站軟體，可安裝在AWS的G4dn執行個體服務（搭配Nvidia T4 GPU）。

另一家公有雲業者微軟Azure也在此時宣布支援CloudXR，將在GPU執行個體服務NCv3、NCasT4_v3，提供CloudXR平臺，而且，已經有幾家廠商率先在Azure的執行個體服務當中，使用CloudXR，Nvidia透露，目前Innoactive、TechViz、Vection Technologies這三家公司有相關規畫。

就Nvidia整體的視覺運算解決方案而言，隨著CloudXR發展逐漸成熟，其統籌AR/VR等進階視覺運算的定位，也日益清晰，並可基於Nvidia的GPU技術，提供更多5G網路內容應用。

而這當中該搭配何種等級的GPU，以及驅動程式、開發工具等多種軟體，Nvidia也都一一列出可能的選項。

再從相關產品與技術的脈絡與源流來看，Nvidia表示，他們在發展Omniverse的過程當中，延伸出許多工具與軟體開發套件，CloudXR也是其中之一，兩者可以相互搭配使用。例如，開發人員在使用Omniverse這套模擬及協作平臺時，可藉由CloudXR來呈現這些內容，提供高品質沉浸式的體驗，而目前這樣的使用方式，在個人端裝置的部份，可在Android環境提供支援，預計7月會有更新版本，屆時可讓iOS裝置支援這樣的整合操作。

產品資訊

Nvidia CloudXR 2.1
●原廠：Nvidia
●建議售價：廠商未提供
●包含元件：CloudXR Server Driver、CloudXR Client App、CloudXR Client SDK
●運作架構：主從式架構，伺服器搭配VR、MR、AR個人端程式
●伺服器系統需求：作業系統為Windows 10、Windows Server 2016，GPU為Nvidia Pascal架構之後的GeForce/Quadro/Tesla，開發環境為相容OpenVR應用程式或SteamVR
●個人端系統需求：
   Windows 7～10電腦，搭配Nvidia Pascal架構之後的GeForce/Quadro/Tesla GPU，支援VR設備為HTC Vive、HTC Vive Pro、HTC Valve Index；
   Android 7.0裝置，硬體運算需支援OpenGL ES 3.0、可處理4K @ 60hz畫質的HEVC硬體解碼器，支援VR設備為Vive Focus Plus、Oculus Quest、Oculus Quest 2
   iOS 14.2裝置：iPhone 6s~12、iPad/mini/Air/Pro
●軟體開發套件需求：
  Android 3.4/4.0、Android SDK7.1.1、Android NDK 21.4
  Xcode 12.2（Apple ARKit）
  Windows 8.1 SDK

【註：規格與價格由廠商提供，因時有異動，正確資訊請洽廠商】