Nvidia推出可建置企業級聊天機器人的生成式AI微服務NeMo Retriever

Nvidia發布生成式人工智慧微服務Nvidia NeMo Retriever，讓企業能夠連接大型語言模型與企業資料，在其人工智慧應用程式提供精確的回應。該服務是NeMo系列的新產品，供企業能夠使用Nvidia最佳化演算法，建置生產就緒的檢索增強生成（Retrieval-Augmented Generation，RAG）人工智慧應用。

NeMo Retriever為一個語意檢索微服務，讓開發者可以簡單地客製化問答應用程式。該服務能夠被部署在雲端或是本地環境中，支援生成式人工智慧應用程式。藉由使用Nvidia最佳化演算法，NeMo Retriever可以提供更加精準的回應。此外，開發者能夠將其與雲端和資料中心裡的業務資料連接，以便終端使用者透過簡單的對話提示，快速獲得準確且最新的訊息。

透過NeMo Retriever企業便可在其應用程式中加入檢索增強生成功能，官方提到，其提供了先進且商業化的模型和微服務，並對延遲和吞吐量進行了最佳化。NeMo Retriever所使用的模型經過負責任且可稽核的資料訓練，開發者可選用不同的預訓練模型，並且依據使用案例自定義模型。

NeMo Retriever中的Retrieval QA Embedding模型，能夠將文字資訊轉換成為密集的向量表示，以方便搜尋向量資料庫，檢索和終端使用者查詢最相關的檔案。NeMo Retriever中的Retrieval QA Embedding模型為Transformer編碼器，是一個E5-Large-Unsupervised模型的微調版本，具有24層，嵌入大小為1,024，經過私有和公開資料集進行訓練，最大支援512個token輸入。

開發者可以透過Retrieval QA Embedding Playground API來存取該服務，由於Retrieval QA Embedding模型為E5-Large-Unsupervised微調版本，因此也適用類似的輸入格式要求，開發者在發出請求的時候，需要指定片段資訊（Passage）以及查詢（Query）。

經Nvidia電信、IT、諮詢和能源產業的客戶內部資料集評估，Retrieval QA Embedding模型在模擬檢索增強生成情境的Recall@5指標中表現最好，而且在學術基準測試NQ、HotpotQA、FiQA和TechQA上，Retrieval QA Embedding模型在平均NDCG@10指標上超越其他開源和商業檢索模型。