推論軟體

Dynamo是Nvidia既有Triton Inference Server的繼任推論軟體，可將大型語言模型的處理階段與生成階段，分別部署在不同的GPU上，以提升性能與效率