Nvidia以深度學習自動修復影像，讓P圖不求人！

Nvidia研究員發表論文，能以深度學習修補破損或是缺少像素的圖片，另外也能用於移除部分圖片內容，並由人工智慧自動填補的方式編輯圖片。而這也是第一個能在不規則孔洞中，應用深度學習修復圖像的研究。

研究人員提到，過去圖像修復的應用，僅能將深度學習技術用在集中於圖像中心的矩形孔洞，並且仰賴高成本的後製，但是最新的方法，可以強健的處理任何形狀、大小和位置的孔洞，也不需考慮孔洞在圖像邊界的距離，而且他們的模型經過訓練後，可以處理越來越大的孔洞。

這項研究先使用ImageNet、Places2和CelebA-HQ資料集圖片來訓練其神經網路，該研究團隊準備了55,116個隨機條紋、任意形狀和大小的孔洞遮罩用作訓練資料。他們另外還產生了近2.5萬個孔洞用來做實驗，並且為了增加準確度，還將這些孔洞依據輸入圖片的大小分為6類。

在訓練階段，透過將不同的孔洞以及缺失的部分疊入完整的圖片中，讓模型訓練學習缺失的像素。在測試階段則將沒使用於訓練期間的孔洞引入測試圖像的資料集以執行重建的準確性驗證。

現存的方法，圖片重建的機制會有顏色差異以及模糊的偽像，因為其缺失的像素必然來自於神經網路輸入的圖像。研究人員強調他們的研究特別避開這個缺陷，他們使用部分卷積層（Partial Convolution Layer），讓用來修補的像素，不再只能來自於輸入值。這種重新正規化的方法，確保輸出值與接受域中缺失的像素值無關。

左圖的左下角原本有座橋，經過塗白遮蓋影像後，右邊由AI自動修復的影像中已看不到橋的蹤影。

以AI重建影像：