【Nvidia 2022新戰略2｜邊緣AI】要靠容器搶攻Edge AI戰地，Nvidia發表UCF新統一運算框架

在今年秋季GTC大會上，Nvidia展示一個Kiosk自助點餐機器人語音助理，這個虛擬語音助理很不一樣，不光是Q版機器人造型很討喜，一看到顧客上門還會開心招手，邊聽客人點餐時，會邊注意對方的臉部表情和聲音，來做出生動表情與其互動，還知道起司漢堡是什麼口味，能依客人喜好來推薦套餐或加哪些配料，甚至想要查詢食物的蛋白質含量，或素食漢堡知識也難不倒它。Nvidia在這臺Kiosk機臺裡結合多種AI技術在裡頭。

自助點餐機上裝有攝影機和收音裝置，顧客點餐的同時，串流影像和聲音會即時輸入到機臺，結合各種視覺、語音AI應用，像是會有一個視覺AI模型，負責客人臉部偵測與追蹤，同時還有ASR語音模型將語音轉成文字，並從文字上下文來理解其意圖，最後合成語音，再透過Omniverse模擬平臺，模擬逼真的機器人臉部表情和動作，再輸出到Kiosk機臺上來顯示。所有過程都是即時處理。

Nvidia透露，之所以能夠快速兜出這樣一個邊緣多AI應用的Kiosk對話機器人，靠的就是一套統一運算框架（ Unified Compute Framework,UCF），能夠將個別AI應用，透過統一機器人處理流程，集中到EGX設備上做運算處理，不論是需要AI語音、AI視覺，繪圖運算和模擬處理過程，都可透過這套框架來提供。

圖片來源／Nvidia
Nvidia最新展示的Kiosk自助點餐機器人語音助理，是在Maxine數位機器人平臺中來做開發，同樣採用UCF框架。該應用結合電腦視覺、互動式對話AI技術Riva以及使用Omniverse模擬虛擬化身的臉部表情、手勢、身體動作。

為何Edge AI需要統一運算框架？

Nvidia執行長黃仁勳在會中多次提到這個框架的重要性，甚至將它視為該公司未來搶進Edge AI產業不可缺少的關鍵武器之一，未來可以運用在製造業、零售、交通、醫療等行業等。

為何Edge AI需要統一運算框架？黃仁勳解釋，邊緣運算的統一概念，是要能夠處理感測器、高速I/O、訊號與物理處理、AI推論和繪圖運算等一連串技術的組合需求，這和機器人處理流程相同，甚至必須做到即時處理。所以他認為，邊緣應用程式的本質是一個機器人應用程式，都是在類似條件下執行相似的任務，如無人自駕車等，「而為了打造出一個能夠處理機器人流程的邊緣AI應用程式，需要有UCF框架才行。」

這些處理流程包括將專用加速器、CUDA GPU、深度學習Tensor核心、RTX繪圖技術、網路、資安和高速IO處理鏈結在一起，讓企業或開發人員能透過UCF框架，迅速打造出所需的即時Edge AI應用程式。

也因此，Nvidia的Edge AI策略，明顯不同於其他大型公有雲業者，從雲端AI來切入Edge AI戰場，反而一開始就考慮到邊緣應用本身的特性，從即時處理的Edge AI切入，而UCF框架就是這家公司未來要搶攻Edge AI戰地的重要利器，可以把開發Edge AI應用所需AI軟硬體資源的處理流程，都透過這套框架來提供，以便能夠開發出能立即反應的Edge AI應用程式，也簡化Edge AI應用開發流程。

以UCF框架建立出來的Edge AI應用程式，除了可以部署到邊緣運算設備或嵌入式系統中，未來也能夠在資料中心來執行。

儘管，Nvidia在會中沒有透露關於UCF框架更多細節，甚至也沒有排專屬議程來介紹這個新框架，不過在他們的官網已經悄悄地將UCF框架公開列入未來重要發展項目。從這個網頁的介紹可知，UCF框架是一個用來開發即時處理Edge AI應用的加速框架，涵蓋從高速網路儲存I/O、資料處理、影像訊號處理，到DNN神經網路和PINN物理神經網路、繪圖運算以及串流處理都包含其流程內，透過這些處理流程的串接，進而實現即時邊緣AI應用。

引進容器和微服務，讓Edge AI開發更敏捷

為了要加速Edge AI開發，Nvidia在UCF框架中還引進當紅的容器技術和微服務架構，目的是要把每種AI應用（包含視覺AI、對話AI、 數據分析、繪圖渲染等），都變成一個個微服務，跑在容器裡，未來可以獨立部署和管理在Edge AI應用程式中，藉此讓Edge AI開發變得更敏捷。

待完成開發以後，開發人員只須將 UCF應用程式打包到容器中，就能透過Helm圖表來加以部署，後續也能在圖表中管理UCF應用程式中所需的資源。從這個圖表中，可以很清楚看到目前在多AI邊緣應用程式中，使用到哪些AI推論模型、各種資料處理流向，以及搭配硬體彼此間的關係。

UCF框架本身也提供一個IDE開發環境和No-Code設計工具，來簡化微服務在應用程式中的建立、管理和部署。開發者可以使用No-Code工具完成程式編寫，只要透過拖移方式，就能迅速組合出邊緣AI應用程式的處理流程，再依據這些流程，建構不同AI形式用途、繪圖和其他處理功能，即使不是專業程式設計人員也能迅速上手。在IDE中也有制定設計規則和驗證程序，來確認UCF應用程式的設計正確性。

另外，該框架已經內含預先驗證並部署好的微服務，來加速應用程式開發，開發人員也能使用Nvidia SDK工具來新增或客製所需微服務。該框架也有提供一些個別產業的參考設計，像是零售Kiosk機臺應用、醫療影像診斷應用、智慧交通運輸等。

UCF框架本身還提供Edge AI加速運算所需的軟硬體及各種SDK工具，像是底層可以搭配EGX邊緣運算平臺，不同場景AI加速運算，也有提供如DeepStream、Riva、Omniverse、Triton和Magnum IO等相關SDK工具。

儘管，該框架明年才會釋出，但Nvidia在主要Edge AI產品中，已經開始使用UCF框架，像是前幾年發表的AI影像分析串流平臺Metropolis，率先使用UCF框架來設計出能支援多感測器的Edge AI 應用。Nvidia表示，透過使用UCF框架，讓以往AI視覺應用更容易跨不同感測器來執行，不只結合AI影像串流的攝影機，未來還能在光達、深度感測器、雷達、超音波等不同感測裝置上提供邊緣AI處理能力。

Nvidia最新展示的Kiosk自助點餐機器人語音助理，是在Maxine數位機器人平臺中做開發，同樣採用UCF框架來提供即時處理的Edge AI應用。該應用結合電腦視覺、互動式對話AI技術Riva以及使用Omniverse來模擬虛擬化身的臉部表情、手勢、身體動作，來提供一種即時對話式機器人服務。

新發表的醫療診斷邊緣AI平臺Clara Holoscan，也以UCF框架處理這些邊緣運算流程，將不同視覺AI模型、資料視覺化、高速IO、訊號處理流程鏈結到一個軟體定義的醫療儀器設備中來處理，儀器設備商想用它打造屬於自己的醫療邊緣AI應用將更容易許多。