Pixel 3如何讓數位變焦也能比擬光學變焦的影像品質? Google大揭密

Google新發表的智慧型手機Pixel 3，其中令人驚豔的特色之一便是其相機，能以數位變焦而非光學變焦的方式放大相片，同時還能維持一定的影像品質，Google解釋Pixel 3使用的超級解析度放大（Super Res Zoom）技術，是以多張影像合併以獲得更高解析度的圖像，以達到相當於其他手機使用兩倍光學變焦鏡頭的結果。

Pixel 2相機的2倍數位變焦及Pixel 3相機採用Super Res Zoom的影像比較：

數位變焦有其限制，必須要靠演算法來重建缺失的畫素，傳統上會以各種內插法算，猜出原始圖像中缺少的訊息，但這些方法會因為缺乏紋理或是細節，而讓圖像產生模糊會是塑膠感。現代多數的單一圖像升頻器（Upscaler）都會使用機器學習來重建圖像的細節，像是Google的RAISR，就能強化直邊等某些特定紋理，但是仍然無法恢復自然的高解析度細節。

Google提到，重建照片精細的細節非常困難，因為數位照片的資訊本身就已經不夠完整了，數位照片是經過稱為去馬賽克（Demosaicing）程序從部份顏色資訊中重建出來的。典型的消費型數位相機其感測元件並非直接測量光的顏色，而是測量光的強度，而為了捕捉場景的真實顏色，相機會在感測器前面放置彩色濾光片陣列（Color Filter Array），並為每個像素測量光三原色紅綠藍其中一種顏色，這些像素顏色會以拜耳模式（Bayer Pattern ）排列。

數位相機的處理工作管線會依照這些有限的資訊，重建出真實顏色和所有像素細節。也就是說，其實數位照片中的三分之二的顏色資訊都是重建出來的，由顏色插值進行去馬賽克，對缺少的像素顏色資訊做最佳猜測。由於缺少的像素訊息由相鄰畫素猜測而來，因此結果多會有缺陷或是偽像假影，雖然這種情況也會在DSLR上發生，但是由於其較大的感測器以及鏡頭，因此能比行動裝置相機捕捉到更多的細節。

為了解決這個問題，Google的Super Res Zoom技術，會連續拍攝多張照片，來彌補缺失的顏色資訊合成出更高解析度的照片。連續拍攝並合成多張圖像為最終圖像的技術稱為Burst Photography，過去在Nexus和Pixel手機相機上，Google已經應用HDR演算法來模擬出大感測元件相機拍出的照片，而在Pixel 3中，Google用這項技術提高圖片解析度。

而類似的想法早在智慧型手機出現前十年就已經存在了，只是都應用在天文成像或是固定式望遠鏡等這類鏡頭位移嚴格受控的設備上。這個稱為多幀超高解析度的一般作法，是要將低解析度連拍的圖像合成到更高解析度的網格上。Google舉例，當相機同時拍攝了4幀畫面，其中三幀分別在水平、垂直，還有水平與垂直同時位移一個像素，組合這4幀畫面後根本不需要進行去馬賽克，因為所有畫素都會被填滿。事實上有部分的DSLR支援這樣的技術，但相機必須擺在三腳架上。

要把這個拍照位移需要嚴格控制對齊的技術擺到手機上，無疑會有許多障礙以及無法實現的地方，Google提到，他們第一個要改進的地方便是鏡頭，鏡頭的解析度必須要比感測器還要好，否則最終相片仍然會有許多鋸齒產生。第二個便是要開發適用於手震的演算法，在DSLR或是過去其他應用中，拍攝多張存在位移的照片，必須透過感測器和光學元件的物理移動，但這部分手部晃動反而幫上忙，讓事情變得比較簡單。

手機相機中的光學影像穩定系統（OIS）可以抵銷一些較大的相機震動，1/30秒連續幀可以容忍5到20像素，而小幅度自然手震問題，則可以使用高解度感測器來解決，最後連續拍攝的畫面位移會只剩幾個畫素。而當Pixel 3手機固定時，裝置也會以強制晃動光學影像穩定系統來取得連續位移照片。

但需要解決的問題並不只如此，Google說這也是這項技術沒被廣泛應用的原因，首先，即使在良好照明條件下，單張連拍的相片仍然可能有雜訊，而且連拍進行中，場景可能會有複雜的動作發生，像是風吹過樹葉或是火焰閃爍等狀況，這將影響連續照片的對齊。另外，由於手震是隨機的，這可能造成畫面中部分區域的資訊較密集，其他的則較稀疏。

針對雜訊問題，Google透過分析輸入連續畫面以及調整組合方式，讓像素合併的方向沿著明顯邊緣的方向，而非交錯過這些邊緣，以換取更好的細節以及雜訊抑制。而且為了有效處理複雜的局部運動，Google發展了強健的模型，以偵測並減少對齊錯誤。系統會選擇連續畫面的其中一幀作為參考圖像，並只有在找到正確相對應特徵時，才將其他畫面的資訊整合到參考圖像中，如此便能預防重影或是模糊的現象發生。

過去認為行動裝置上以演算法運作的數位變焦，與DSLR相機的光學變焦拍攝出來的相片無法相比，也認為複雜的光學以及大型相機的機械系統，是行動裝置上即便是再聰明的演算法都無法取代的，不過，Pixel 3上使用了Super Res Zoom技術以提高相片品質，正在慢慢顛覆人們對行動裝置相機的想像。