Nvidia開源TensorRT-LLM函式庫強化H100 GPU大型語言模型推論效能
Nvidia推出TensorRT-LLM模型最佳化函式庫，強化H100 GPU推論能力，協助開發者高效運行大型語言模型，結合動態批次處理技術，提高GPU使用效率
2023-09-12
| AI | 微軟 | 語音合成 | google | AutoML | 自然語言 | PDF | Nvidia | TensorRT | 推論 | 萊迪思 | 28奈米 | FPGA | IT周報
AI趨勢周報第114期：快又不漏字！微軟發表FastSpeech能更快產生逼真自然的語音
微軟發表FastSpeech仿真語音生成模型，可快速產生逼真的人類語音，解決語音合成速度緩慢的痛點。Google正式推出AutoML Natural Language，新增了PDF語意理解功能，還可支援5,000個分類標籤，訓練資料量最多可支援1百萬筆文件。Nvidia發表新一代深度學習加速的SDK TensorRT 7，透過優化的編譯器，來加速迴歸和Transformer模型的推論，比傳統CPU快10倍以上。
2019-12-19