Nvidia發展GPUDirect儲存技術，大幅提升GPU載入大型資料集的速度

Nvidia發展了名為GPUDirect儲存（GPUDirect Storage）的資料傳輸技術，加快位在各種儲存的資料，傳輸到GPU記憶體的速度，可以將頻寬增加至原本的2到8倍，而且還能降低端到端的延遲達3.8倍。

由於人工智慧以及高效能運算的資料集規模不斷的增加，應用程式載入資料花費的時間越來越長，進而影響了應用程式的效能，而且特別是端到端架構，會因為緩慢的I/O使得運算速度日益提升的GPU無用武之地。Nvidia提到，將資料從儲存器載入到GPU，過去都是由CPU負責，而這將會成為硬體效能的瓶頸。

資料從NVMe磁碟傳輸到GPU記憶體的標準路徑，是使用系統記憶體中的反彈緩衝區（Bounce Buffer），而GPUDirect儲存技術避免使用反彈緩衝區，以減少額外的資料副本，並使用直接記憶體存取引擎（Direct Memory Access，DMA）將資料直接放到GPU記憶體中，為遠端或是本地儲存，諸如NVMe或NVMe over Fabric，和GPU記憶體之間，建立一個直接傳輸資料的路徑，而這能有效減輕CPU I/O的瓶頸，提升I/O頻寬和傳輸資料的量。

Nvidia提到，GPUDirect儲存技術的主要功能，就是透過這個新的檔案系統，以直接記憶體存取的方式，將資料傳輸至GPU記憶體上。無論資源原本存放在什麼位置，都能使用GPUDirect儲存技術，這些儲存可能位在機箱內、機架上甚至通過網路連接都可以。

Nvidia在GPU資料科學平臺RAPIDS中的GPU資料影格（GPU DataFrame，GDF）函式庫cuDF上進行實驗，發現使用GPUDirect存儲技術，比起原始cuDF CSV讀取程式，將資料傳輸到GPU記憶體的吞吐速度快了8.8倍。cuDF是讓使用者在GPU上，用來載入、過濾、排序和探索資料集的函式庫。

Nvidia表示，應用這項新技術，遠端儲存、本機端儲存以及CPU記憶體到GPU記憶體的頻寬，可以在互相組合後加乘，以人工智慧超級電腦DGX-2為例，從CPU系統記憶體到GPU記憶體的頻寬限制為50 GB/s，但綜合從系統記憶體、本機端硬碟以及NIC（Network Interface Card）的資料，最高頻寬甚至可以達215 GB/s。