老是拍到閉眼照嗎？臉書用AI解決拍照失敗問題

照片中主角眼睛閉上是個讓人無法忽視的缺憾。臉書的AI研究中心本周發表一項研究成果，或許未來可以運用AI技術修正照片中閉上的眼睛或紅眼現象。

現在已經有許多電腦演算技術用來修補紅眼現象、眼睛閉上等照片不完美的地方，像是深層卷積網路（deep convolutional network, DNN），在修補照片中缺失、空白的部位就有很好的效果。但是它在幫相片中人「開眼」仍有缺點，像是它加上睜開的雙眼時並不能保證這雙眼睛符合人物的特徵，例如很特別的眼形等。

作為全球最大的社群網站，臉書擁有為數龐大的相片檔，包括閉眼睛的照片，可用作AI訓練。臉書AI研究中心在條件式生成對抗網路（Conditional Generative adversarial network, cGAN）基礎上發展出名為樣本式生成對抗網路（Exemplar Generative adversarial network, ExGAN）的技術，運用直接對應照片人物重要特徵的額外資訊，這額外資訊可能是以主角的其他參考相片或是感知程式碼（perceptual code）。

ExGAN的訓練過程包含將輸入相片的眼睛部位以遮罩蓋住；以輸入相片與繪製相片間的內容／重構損失（reconstruction loss）計算出生成器（generator）參數的梯度；以繪製相片、參考相片或程式碼及另一張真實相片來計算鑑別器（discriminator）參數的梯度；最後透過生成器反向傳播（backpropagate）鑑別器的錯誤。

研究人員表示，和過去GAN演算法不同的是，在ExGAN中額外資訊可以插入對抗網路的多個點，進而強化其描繪能力，使產出的結果品質高、也更像本人。從結果來看，以ExGAN產出的相片也比Adobe PhotoShop Elements演算法製作的圖來得自然，和相片中人物原始面目也十分接近。

研究人員請人類受試者來挑選非AI變造過的照片，結果54%的時間受試者挑到了ExGAN產出的照片，或者表示不確定。除非受試者事前知道相片篡改過，否則幾乎不會發現到異樣。造成ExGAN失敗最常見的原因是原始相片或參考相片中的眼鏡或髮絲遮蓋住了眼睛之故，但研究人員認為未來訓練時，以更多尺寸的眼部遮罩來蓋住眼鏡或髮絲，可以改善此一缺點，進而提高ExGAN產出相片的品質。