Nvidia為即時性對話AI釋出新版優化工具TensorRT 7、新一代自駕車/機器專用處理器亮相

為加速對話式AI應用的發展，Nvidia在中國舉行的GTC發表了新一代的推論軟體開發工具TensorRT 7，同時，針對自駕車及機器發表了最新AI處理器Orin及深度神經網路服務。

在今年的中國GTC活動中，Nvidia宣布百度、阿里巴巴的推薦引擎已採用Nvidia GPU，在大量的內容或商品裡，提供適合用戶的內容或商品推薦，而在AI工具部份，Nvidia發表了新一代的推論軟體開發工具TensorRT 7，以加速更即時的對話式AI相關應用的開發。

Nvidia表示，TensorRT為一推論最佳化的軟體開發工具，能夠將TensorFlow、Pytorch等框架訓練好的AI模型，經過優化後良好的執行在Nvidia的GPU上。

相較於先前的TensorRT 5支援CNNs，以及少數的神經網路架構如SSD ResNet-50，TensorRT 7現在支援了Transformers及RNNs，以及更多的架構，像是BERT、MT-DNN、RoBERTa、DeepASR等等，有助於對話式AI的應用。

Nvidia指出，TensorRT 7提供的優化，除了提升執行的效率外，也能降低神經網路使用的記憶體，還有記憶體間的溝通。

以英文說出的語句為例，如果想要將它翻譯為中文，從ASR的取出語音特徵、輸入聽覺模型，到NLU及TTS，Nvidia指出TensorRT 7的處理延遲時間能降到0.3秒以下，和CPU相比，在對話式AI的執行速度提升10倍以上。

新自駕車/機器AI處理器Orin亮相

至於自駕車市場，Nvidia先前推出運算系統，並和多家汽車廠商聯手，積極進入先進輔助駕駛、自動駕駛汽車領域。

而在今年的中國GTC上，Nvidia發表了供自駕車、機器使用的DRIVE AGX Orin運算平臺，該平臺主要使用了Orin處理器，為一款SoC系統單晶片，內含170億的電晶體，整合Nvidia下一代的GPU架構及Arm的Hercules CPU核心，具備電腦視覺及深度學習加速功能，效能達200TOPS，為前一代Xavier處理器的7倍。

此外，該公司也針對自駕車的AI開發，在NGC上推出深度神經網路Nvidia Drive，提供外界事先訓練好的自駕車AI模型，處理攝影機、雷達、光達蒐集的大量資料，以辨識人或車等物體、交通指揮手勢、交通號誌，或是道路標誌等等。Nvidia也和中國知名的叫車服務滴滴出行合作，滴滴將採用Nvidia的GPU、深度神經網路Nvidia Drive，開發Level 4的自駕車。