憑藉Arm CPU與自家GPU，Nvidia打造醫療AI專屬邊緣裝置

憑藉著本身發展的Arm處理器與GPU運算技術，Nvidia打造出用於邊緣AI與機器人的單板電腦Jetson系列，支撐自動駕駛車輛AI應用的Drive AGX系列，以及用於醫療AI領域的Clara AGX系列，也是本次所要介紹的主要產品。

開創Nvidia醫療AI邊緣運算平臺應用

以Jetson系列而言，最新的平臺是2018年登場的運算模組Jetson AGX Xavier、開發板Jetson AGX Xavier Developer Kit，以及2019年11月發表的運算模組Jetson Xavier NX。而另一個Drive AGX系列，則是2016年9月發表、2018年推出的系統單晶片Drive Xavier（結合內含8顆Arm架構CPU核心的Carmel，以及Volta架構GPU），以及2018年10月推出的開發板Drive AGX Developer Kit。

至於Clara AGX的發展，則是2018年9月，Nvidia正式推出醫療AI平臺Clara之際，就表示他們將結合軟體與硬體，將AI技術引入次世代的醫療儀器，以便提供疾病的早期偵測、診斷、治療，而這套平臺的核心正是一套革新的運算架構Clara AGX，當中將包含Nvidia發展的Xavier運算模組、Turing架構GPU，以及Clara軟體開發套件，協助開發人員建立由AI助力的應用程式，以處理既有系統產生的海量資料，改變傳統必須為此橫跨FPGA、CPU、GPU等三種運算架構的處理方式。

（編按：Nvidia表示，Xavier是Tegra 晶片代號；Drive是Xavier晶片針對自駕車推出的產品。

Drive Xavier通常是指自駕車產品線中使用 Xavier晶片的世代，像是：Drive AGX Xavier、Drive AGX Pegasus，但Drive Xavier不等於AGX Xavier。

至於AGX是指高效能的晶片，Xavier之後的晶片才使用AGX；以嵌入式平臺Jetson 為例，下一代使用Orin晶片有兩個產品，包含 Jetson Orin NX與Jetson AGX Orin）

當時，Nvidia對於Clara AGX相當簡略，僅提到他們將提供單一、基於GPU的架構，透過他們的Tensor Core核心，提供最快速的AI推論能力，並能經由CUDA這個廣泛採用的架構，以及RTX GPU，來進行加速處理，並能適用於不同醫療儀器，可涵蓋最基本的入門級設備，也能支援運算要求較高的3D影像處理儀器。

在2019年11月底北美放射學會（RSNA）舉行的年度大會上，Nvidia宣布將開放Clara AGX軟體開發套件的初期試用計畫，裡面會包含兩種AI推論的熱門應用：即時超音波與內視鏡檢查的邊緣運算處理，提供參考程式，同時也描繪Clara AGX的具體應用場景：以更高的資料運算速度來處理影像與影片，將AI推論與3D圖解引進醫療照護現場。

就硬體架構而言，Nvidia表示，Clara AGX將基於他們發展的Xavier系統單晶片，也是Nvidia用於自駕車的同一款處理器，耗電量可低到10瓦，足以嵌入醫療儀器內部或執行在小型鄰接系統。

關於合作廠商的部分，Nvidia也宣布，推出首款攜帶型就地照護核磁共振造影系統（point-of-care MRI）的Hyperfine公司，將採用Clara AGX，希望能夠推動具有AI功能的醫療物聯網。

Nvidia於2020年下半公布更詳細的Clara AGX軟硬體搭配內容

到了2020年10月的GTC 2020秋季大會期間，Nvidia針對Clara AGX提出更具體的產品特色規畫，他們預告將推出具備AI加速能力與超高速網路介面的桌上型醫療設備，可支援邊緣端的AI推論處理需求，當中將結合繪圖加速卡RTX 6000、Arm架構的Xavier系統單晶片，以及擴展的I/O介面，如100 GbE網路埠、PCIe介面、HDMI埠；而在系統上層，這套系統將執行軟體開發套件Clara AGX SDK，裡面採用名為EGX的技術堆疊架構，由底層往上，分別有CUDA與Linux驅動程式套件、Jetpack SDK、DeepStream SDK，以及Clara Docker範本、DeepStream範本、模型範例。

單就Jetpack SDK這一層而言，就包含許多軟體元件：CUDA-X、深度學習（TensorRT、CuDNN）、電腦視覺（VPI、VisionWorks、OpenCV）、加速運算（cuBLAS、cuFFT）、多媒體（相機API）。

基於以上述軟硬體形成醫療AI整合開發套件，Nvidia命名為Clara AGX Development Kit。

下一個相關消息的發布，是在2020年11月底北美放射學會舉行的年度大會，Nvidia揭露Clara AGX Development Kit這款開發套件更多細部資訊，像是：基於Jetson AGX Xavier建構而成，可運用Jetson系列單板電腦支援的各種程式庫與工具；可促成AI自主型機器的發展，系統本身只需10瓦電力即可執行，運算效能可達到 32 TOPS；JetPack SDK可協助組建AI應用程式，DeepStream與另一套軟體開發套件Rivermax，則可用於建構串流資料處理管線；採用容器化的執行時期元件，以便支援EGX軟體技術堆疊、特定應用案例的參考應用程式建模等部署需求。

而因為這個開放套件的硬體包含RTX 6000 GPU，在INT8整數運算上，可達到200 TOPS以上的效能，進而同時執行多個推論管線，支援最複雜、運算需求密集的AI應用程式。

除了運算方面的配置，網路介面規格，也是Clara AGX Development Kit當時補充的重要特色之一。Nvidia表示，當中將整合ConnectX-6網路卡（此產品是他們在2020年完成併購Mellanox而得），可支援GPU Direct / RDMA Streaming的直通技術，能讓這款單板電腦以完整的網路連線速度，運用RDMA來直接存取RTX 6000 GPU的記憶體，相對地，可承接（卸載）網路堆疊的負擔，促使感測器的資料封包在進行持續傳送的過程中，可在最不影響系統中央處理器使用率的狀態下，達到最大的吞吐量與效能。

提供2個PCIe 4.0 x8的I/O介面，也是此款開發套件難得之處，可分別連接ConnectX-6網路卡，以及Jetson AGX Xavier模組。第1個插槽除了連接GPU加速卡，有些用戶將此埠用於自定的影像擷取卡，可接收4K60畫質、12G- SDI串列數位介面的訊號輸入；另1個插槽也能用於連外部主機或自行設計的介面卡，促成專屬的畫面輸出。

Clara AGX Developer Kit於2021年正式推出

在今年舉行的GTC 2021春季大會期間，Nvidia宣布Clara AGX Developer Kit上市的消息，希望能透過通用平臺的提供，提升與加速軟體定義醫療儀器的發展，達到高頻寬訊號處理、加速運算重建、AI處理、進階3D圖解呈現，促成顯微鏡、超音波、內視鏡等醫療設備的進化，並且可以配備多種即時AI應用，支援臨床診斷的各種作業需求，涵蓋自動化病患掃描設定，以及改善醫療影像品質，而能分析資料串流，還能針對醫療照護業者提供關鍵的決策輔助分析資訊。

就配備而言，Nvidia重申Clara AGX Developer Kit的組成元件，包含Jetson AGX Xavier運算模組、RTX 6000 GPU、ConnectX-6 SmartNIC，以及軟體開發套件，能讓開發者搭配即時運作的硬體設備系統軟體、用於I/O與影片處理管線傳輸（video pipelining）的程式庫、用於資料串流的Rivermax軟體開發套件、各種參考應用程式，更易於建立適合的AI模型，以便用於超音波、內視鏡這類醫療儀器的技術發展。

而所謂的軟體定義，是指Clara AGX所採用的EGX技術堆疊，皆是基於容器化的軟體與微服務而成，以其中的Fleet Command這套雲端服務為例，可協助用戶在醫院環境安全部署多種設備，將每日都會用到的感測器，轉換為軟體定義型的智慧型感測器，可定期更新AI演算法，獲得最新改良技術，同時也能持續連接研究系統，提供每日不間斷的醫學現場實務資訊。

在這次發布消息裡面，Nvidia公布已經或即將採用Clara AGX的案例。

首先，是醫療影像系統廠商Carestream Health，他們的智慧型X光室，將配備AI功能，強化與加速影像處理工作流程，提升檢驗效率；其次，則是醫療科技新創公司Activ Surgical推出的新型硬體影像處理模組ActivSight，將會運用Clara AGX Developer Kit強化手術分析與資料處理，也能以此減少未來產品的整體開發時間。

發展專業視聽設備的AJA Video Systems，也結合Clara AGX Developer Kit，支援內視鏡與外科手術應用；主打AI的最小侵入式手術照護解決方案廠商Kaliber Labs，運用Clara AGX部署手術軟體套件，可透過具備前後脈絡與個人化特色的手術工具包，協助醫師執行最高階的手術、降低手術變化性；電腦視覺設備廠商KAYA Instruments，也採用這項開發套件來建立與提供醫療設備的即時AI功能，並且保護大量分散式設備的部署，以及提供遠端管理的功能。

改善醫療影像效率與病患體驗的解決方案廠商Subtle Medical公司，他們用於調查階段意圖探索的AI應用軟體SubtleIR，將會運用Clara AGX Developer Kit，改善介入醫療影像處理程序的執行速度與品質，找出可推論性、效率、即時部署的潛力。.

AI手術平臺新創廠商Theator，正在開發GPU加速的AI系統，可用於作業現場畫面的標註，他們也宣布將採用Clara AGX Developer Kit，支援未來發展的解決方案。

超音波研究系統廠商us4us宣布與Nvidia合作，將在低價可攜式超音波研究系統us4R-lite當中，整合Clara AGX Developer Kit，支援即時、數位的波束成型技術（beamforming），可透過運算密集型的處理方式擷取高品質的超音波影像，而這樣的軟體定義系統運用了嵌入式GPU模組，能讓開發與部署自行開發的AI模型，用於超音波掃描的影像處理。

到了11月舉行的GTC秋季大會，Nvidia持續宣告Clara AGX Developer Kit全面上市，當中搭配了AGX Xavier系統單晶片、RTX 6000 GPU，以及隨著ConnectX-6網路晶片而來的100 GbE網路介面，大部分均如前所述，但Nvidia在此將系統單晶片Xavier改稱為AGX Xavier，這部分主要是指Jetson AGX Xavier系列運算模組，似乎有意與Drive Xavier區隔。

有了Clara AGX Developer Kit，開發人員可以發展外科手術型的影片應用，像是AI強化的內視鏡檢查，或是其他最小侵入式醫療作業，能因應影片處理路徑每個環節的低延遲需求。

Nvidia下一代醫療AI運算平臺Clara Holoscan蓄勢待發

GTC 2021秋季大會期間，Nvidia也預告將針對醫療照護產業，推出新的運算平臺Clara Holoscan，屆時會搭配Nvidia新發展的次世代系統單晶片AGX Orin，以因應醫療設備從各個層面處理串流資料的規模擴展，以及支援軟體定義基礎架構執行的需求。

Clara Holoscan預計要加速處理的階段，包含：系統I/O與網路I/O、物理處理（GPUDirect RDMA）、圖片處理（CUDA-X、Triton Inference Server）、資料處理（cuCIM）、渲染（Clara Render Server、Omniverse、CloudXR）。

而在延展性的部分，Clara Holoscan可將醫療設備的處理延伸至Nvidia認證的邊緣伺服器，以及位於資料中心或雲端服務的DGX整合應用設備，能讓開發人員大幅增減醫療設備所需的運算與I/O容量，根據延遲度、成本、空間、耗電量、網路頻寬的需求來進行資源調度的平衡。

在AGX Orin與Clara Holoscan的搭配之下，開發者可組建軟體定義醫療設備，以便在邊緣端執行低延遲的串流應用程式，而這樣的運算能力，可因應機器人輔助手術、內視鏡、診斷影像系統等設備的需求，能處理物理特性、影像處理、圖解，以及提供醫師即時AI決策支援；就軟體層面而言，開發者可設置AI微服務，使其能在設備上執行低延遲的串流應用程式，若遇到更複雜的工作任務，可轉交到資料中心來處理。

值得注意的是，關於Clara Holoscan這套醫療設備AI運算平臺的應用方式，Nvidia並不打算繼續局限在嵌入式儀器的範圍，還希望能夠在邊緣伺服器、資料中心、雲端服務，以及混合雲環境當中執行，甚至可支援軟體即服務（SaaS）的維運模式，不僅能扮演串流運算平臺的角色，支援訊號、資料、AI推論、圖像呈現工作流程的高吞吐處理需求，形成軟體定義型醫療裝置，也能針對大量設備進行遠端更新、調度指揮、監控等維運作業。

在運作架構上，Clara Holoscan可以結合多個硬體系統，橋接智慧型醫療儀器與雲端服務，實現低延遲的狀態感測與網路連線，搭配針對資料處理與人工智慧等應用最佳化的程式庫，以及核心微服務，橫跨邊緣設備到雲端服務來執行串流、影像處理等應用程式。

就應用程式開發而言，Clara Holoscan本身也是一套完整的加速運算框架，用戶可運用最佳化容器、無程式碼（no-code）型態的設計工具，以及範例程式，發展即時執行的多模態應用系統。

從硬體運算配置而言，前面我們提到Clara Holoscan將會採用系統單晶片新一代AGX Orin，事實上， Nvidia這幾年來陸續釋出Xavier後繼平臺的消息，早已預告Drive AGX、Jetson AGX、Clara AGX即將進入新世代。

例如，2019年底發表Drive AGX Orin自駕車用平臺，採用新一代系統單晶片Orin，裡面整合Arm處理器核心Hercules與次世代架構GPU，可提供200 TOPS運算效能；2021年11月，預告2022年上半將推出Jetson AGX Orin運算模組。

若依照這樣的規畫，Clara AGX平臺自然是採用新一代的系統單晶片，也就是AGX Orin，而平臺屆時應該稱為Clara AGX Orin，不料在GTC 2021秋季大會之後，突然冒出Clara Holoscan成為後繼者，顯然這裡的平臺命名將有別於Drive AGX與Jetson AGX。

關於Clara Holoscan與Clara AGX的關係，Nvidia向我們透露，當Orin模組於2022年推出之後，目前的Clara AGX Development Kit，將會成為Clara Holoscan Developer Kit（2022年下半推出），當中將包含12個Arm核心的系統單晶片Orin、Ampere架構的RTX A6000 GPU，以及伴隨ConnectX-7而來的2個100GbE網路介面。

至於軟體開發套件的部分，Nvidia表示，Clara AGX SDK從3.2版起，將改名為Clara Holoscan SDK 0.1版，已於11月中發布。在2022年推出Clara Holoscan Developer Kit之前，用戶可以在Clara AGX Development Kit的裝置上，執行Clara Holoscan SDK。

產品資訊

Nvidia Clara AGX Developer Kit
●原廠：Nvidia
●建議售價：廠商未提供
●包含元件：單板電腦Jetson AGX Xavier、RTX 6000獨立GPU加速卡、SmartNIC為ConnectX-6 Dx、250GB M.2外形SATA SSD
●中央處理器：Jetson AGX Xavier內建8核心Nvidia Carmel（Arm v8.2）
●繪圖處理器：Jetson AGX Xavier採用Nvidia Volta架構（512個CUDA核心、64個Tensor Core核心）；RTX 6000採用Nvidia Turing架構（4608個CUDA核心、576個Tensor Core核心）、24 GB GDDR6記憶體
●系統記憶體：Jetson AGX Xavier內建32 GB LPDDR4x
●儲存空間：Jetson AGX Xavier內建32GB eMMC 5.1，250GB SATA SSD
●網路介面：Jetson AGX Xavier內建GbE埠、ConnectX-6提供100 GbE埠
●運算效能：RTX 6000：FP32為16.3 TFLOPS，INT8為206.1 TOPS
●顯示介面：RTX 6000內建4個DisplayPort 1.4埠、USB-C埠；
Jetson AGX Xavier內建2個埠，可支援HDMI 2.0 / eDP 1.4/ DP 1.4
●連接介面：系統內建2個PCIe（x8），1個源自Jetson AGX Xavier，1個是RDMA 連接RTX 6000，Jetson AGX Xavier內建1個PCIe（x8）、2個USB 3.1 Gen2、1個USB 2.0
●電源供應器：750瓦

【註：規格與價格由廠商提供，因時有異動，正確資訊請洽廠商】