為何夜拍可以這麼清楚？Google公開如何用機器學習克服低光照環境的關鍵

Google近日在Pixel Camera App新增的夜拍Night Sight功能，就能讓使用者在低光照的場景，拍出清晰的照片，這個功能令人驚艷，為何不需要三腳架和閃光燈的輔助，可以拍出像是白天拍攝的品質和清晰度。Google研發團隊於14日在自家部落格中，揭露了突破夜拍挑戰的背後技術，講解如何解決夜拍的常見挑戰，以及用機器學習訓練自動白平衡演算法，在低光照環境拍出高畫質照片。

低光照場景拍攝的常見挑戰

首先，低光照的場景經過鏡頭拍攝後的影像會產生兩種雜訊，包含Shot noise和Read noise，第一種雜訊主要來自於光子的變化，這是每個相機都會遇到的問題，即便是再好的電子感測器都還是有雜訊的問題，而第二種雜訊則是因為將光子轉換為電子訊號的過程產生的隨機誤差，將曝光時間拉長，可以拍出雜訊較少的照片，但是這樣的做法並不實際。

為此，2014年Google在所有系列的Pixel手機，都導入了高動態範圍成像（HDR+）技術來改善這個情況，透過一次拍攝多張亮度不同的照片，再用軟體將這些照片合併成一張效果較好的照片，這個方法減少了Shot noise和Read noise照片的影響。

不過，高動態範圍成像技術還是有一定的限制，頂多只能改善亮度3 lux的低光照場景拍攝，Google的夜拍功能是希望能夠提升從0.3 lux到3 lux的照片拍攝清晰度，而增加曝光時間的方法會有兩個問題，第一，Pixel手機預設的拍照模式為Zero-shutter-lag協議，限制了曝光時間，第二個問題則是動作模糊（Motion blur），也就是場景中若有移動的物體，便會產生模糊的影像，光學圖像穩定（Optical image stabilization）最多只能處理8分之一秒的曝光時間，更長的曝光時間光學圖像穩定技術也無法解決。為了解決這個問題，Pixel 3的預設拍照模式使動作測光（Motion metering）的模式，透過光流來測量最近的場景動作，並選擇能使模糊最小化的曝光時間。

用機器學習訓練自動白平衡演算法校正色溫

雖然解決了上述的雜訊問題，在開發夜拍模式時，Google團隊還遇到了其他挑戰，首先是自動白平衡（Auto white balancing，AWB）的問題，人眼的視覺感知擅長色彩恆定，即便是在彩色的照明下，也能正確地辨識色彩，但是相機在不同光線下，會拍攝出不同色彩，照片就像是被著色一樣，為了校正這個問題，相機會調整圖像的顏色，還校正照片的主色，也就是色溫，這樣的過程稱為自動白平衡，不過，AWB只有在一般光照的場景下才比較有效，但是在低光照的場景就無法確認光線的顏色。

因此，Google團隊開發了一套基於學習的AWB演算法，經過訓練後，用來辨識效果好和不好的白平衡照片，當輸入一張效果不佳的白平衡照片後，演算法會建議如何轉換顏色，讓照片看起來較溫和，訓練該AWB演算法需要用Pixel手機拍攝的各種不同場景作為訓練資料，並在色彩校準顯示器用手動校正該照片的白平衡。

光線亮度低於0.3 lux時，自動對焦會失效，Google還在努力改善夜拍模式在低光照條件下的自動對焦能力，Google的目標是希望能夠在人眼看不見的物體的昏暗環境中，拍攝中黑暗中的物體，就像是擁有超能力一樣，Google研究團隊表示，黑暗中還是存在色彩，只是因為人在太黑暗的環境中，視網膜的視錐細胞會停止運作，因此人類看不見色彩，希望能持續改善夜拍功能，更進一步在更低光照的環境下，拍攝出高品質的照片。