推論

Nvidia公布下一代GPU架構Blackwell的執行效能，宣稱執行Llama 2模型的效能是前代產品的4倍

Nvidia推出TensorRT-LLM模型最佳化函式庫，強化H100 GPU推論能力，協助開發者高效運行大型語言模型，結合動態批次處理技術，提高GPU使用效率

微軟發表FastSpeech仿真語音生成模型，可快速產生逼真的人類語音，解決語音合成速度緩慢的痛點。Google正式推出AutoML Natural Language，新增了PDF語意理解功能，還可支援5,000個分類標籤，訓練資料量最多可支援1百萬筆文件。Nvidia發表新一代深度學習加速的SDK TensorRT 7，透過優化的編譯器，來加速迴歸和Transformer模型的推論，比傳統CPU快10倍以上。