【臺灣人臉辨識實例：臺大CMLab實驗室】識破萬臉偽裝靠女神卡卡濃妝照，臺大打敗美中俄奪全球第一

臺灣不只有自己的國產人臉辨識技術，在先進人臉技術研究上，也不輸國外頂尖大學。例如臺大CMLab人臉辨識團隊，去年首次參加CVPR 2018舉辦的全球偽裝人臉辨識競賽，就勇奪大賽第一名，不僅以超過9成的高辨識率力壓全場，更是全部唯一辨識破9字頭的隊伍，就連主辦方都私下來請教，想知道為何他們訓練的演算法，辨識可以這麼厲害。也向世界證明，臺灣的人臉辨識研發能量，擁有世界一流競爭實力。

臺灣人臉辨識研發力，不輸國外

最近兩年，雖然臉部辨識技術，已經可以落地成為實際應用，甚至比人眼辨識準度都還高，但實務上仍有不少挑戰要克服。尤其是偽裝人臉（Disguised Faces）的辨識問題，到現在仍是棘手難題。因為人臉辨識用的重要特徵被遮蔽，例如在臉上畫濃妝，或搭配其它穿搭飾品（如眼鏡、帽子和假髮）等，使得人臉辨識結果容易出現誤判影響了實用性，甚至成為有心人士假冒他人身分從事違法情事，近來，也成為人臉辨識研究上的一大熱門議題。

但是之前沒有一個偽裝人臉資料庫，可供研究來使用。直到去年，全球三大電腦視覺頂尖會議之一的CVPR 2018主辦方，釋出一套內含有11,000張的偽裝人臉影像的公開資料庫，讓學界可以投入研究，甚至還舉辦首屆偽裝人臉辨識競賽（Disguised Faces in the Wild），不只開放學校，也廣邀業界人臉辨識好手來參賽。比賽背後更是由美國政府情報單位負責先進情報研究的IARPA大力出資。

這場賽事共有數十隊參賽，並分兩階段比賽，臺灣也有來自臺大CMLab實驗室人臉辨識團隊代表參賽。最後更一路過關斬將，拿下首屆偽臉辨識大賽冠軍。在3個比賽項目裡的兩項，混淆（Obfuscation）、整體辨識（ Overall accuracy）項目雙雙拿下第一名。

其中，在整體辨識率項目，臺大團隊以自行開發設計的深度學習偽臉辨識演算法，在誤判率（FAR）只有百分之一的條件下，辨識率仍可達到90.62%，更是唯一一組辨識率達9成的隊伍，比第2名還高出近3%。前十名的學校有來自美國、中國、俄羅斯，還有美國、中國等研究機構與企業，臺大是唯一進榜的臺灣隊伍。

偽裝人臉的挑戰，在於要能正確辨識出是本人偽裝的人臉（濃妝、戴眼鏡、帽子），還是以裝扮冒充別人身分的其他人臉。

偽裝人臉（Disguised Faces）的挑戰，在於要能正確辨識出是本人偽裝的人臉（濃妝、戴眼鏡、帽子），還是以裝扮冒充別人身分的其他人臉。因為人臉辨識用的重要特徵被遮住，使得人臉辨識結果容易出現誤判影響了實用性。近來成為人臉辨識技術研究上的一大熱門議題。圖片來源／Maneet Singh

就像美國知名歌手女神卡卡（Lady Gaga）妝化得再濃，一般人認不出，但是死忠粉絲還是看得出來。負責帶隊的臺大資工系教授徐宏民表示，這也給了他們靈感，用來破解偽裝人臉。

所以，訓練設計上，分兩階段來完成，第一階段，先以其他資料集抽取人臉特徵，先訓練出一個深度卷積神經網路（DCNN）的模型，可以用來辨識人臉；接下來，再以大會提供的偽裝人臉資料，額外建立一個神經網路區塊，專門用於學習偽裝人臉的辨識。徐宏民進一步補充，設計網路時，不只使用深度學習技術，在進行特徵擷取時，也結合了早期的機器學習的PCA（主成分分析）技術，將這些人臉資料先經轉換投射到一個新的特徵空間，來學習這些偽臉的主要特徵，再用學到的這些人臉結構、特徵去比對，找出眼前這個人是本人偽裝，還是別人假扮。經過他們訓練過的偽臉演算模型，連化濃妝後的Lady Gaga都能認。

對於這次比賽成果，徐宏民表示，這更證明了臺灣人臉辨識研究實力，完全不輸國外頂尖大學，「甚至後來，遇到主辦者，連他都很好奇我們怎麼做，可以做到這麼高的辨識率。」他自豪地說。

除了偽裝人臉外，低解析度照片也是人臉辨識當前的另一項挑戰。例如，3年前發生的紐約連環爆炸案，警方一開始公布嫌疑犯人臉照片，連局內人臉辨識系統也束手無策，因為監視器拍到的人臉影像解析度太低，難以辨識，導致警方無法在第一時間將嫌犯追捕到案。

這也讓當時人在國外做研究的徐宏民，決定改善低解析度人臉影像的辨識問題。他解釋，通常拍攝的臉孔很小時（小於160x160或200x200像素），辨識上就會有難度，即使將照片放再大，人臉看起來還是很模糊，不易辨識。

​

3年前的紐約連環爆炸案，警方公布的嫌疑犯人臉照片，因解析度太低，連自家人臉辨識系統也束手無策，這讓當時在國外做研究的徐宏民和團隊，花了2年設計出新的低解析度人臉辨識以及放大演算法，就算只有一般人臉照片大小的十分之一，只有12×14解析度，都認得出來。圖片來源／紐澤西州警局、FBI

所以，徐宏民和研究團隊花了快2年，設計出一套新的低解析度人臉辨識以及放大演算法，可以在放大小尺寸人臉圖片時，同時保留更多解析度細節，而不失真。他指出，透過這個演算法，輸入的人臉大小只有12×14解析度，不到一般可辨識人臉照片的十分之一，都能辨識得很好，準確率還很高。根據在LFW（公開人臉資料集）測試上，辨識率甚至可以達到98.20%，跟其他頂尖算法相比，一點也不遜色。後來，他們還將這次研究成果在去年ECCV歐洲電腦視覺會議上發表，也引起很高關注。

臺灣人臉辨識要落地，實際場域應用的人臉資料是關鍵

講到臺灣臉部辨識技術的發展，徐宏民也建議，最好要有自己一套在地人臉資料庫，如果完全用國外臉孔資料訓練出來的演算法，來套用在包含臺灣人在內的亞洲人臉時，辨識上大約有3到4%的落差，「關鍵就在於，是不是用在地的臉部資料訓練的演算模型。」他說。

徐宏民進一步補充，這些訓練用的人臉資料，無法反應實際應用場域，往往跟現場拍攝到的人臉會有很大的差異，實際應用需要面對的辨識挑戰更大，如光線不佳、視角差、逆光等，甚至也有國家、地域的人臉差別。

尤其在臺灣，他提到，很多人都戴眼鏡，但目前很多公開人臉資料庫，都缺少這類型的照片，「這也是臺灣發展自有人臉辨識技術的關鍵，需要用更貼近應用場域的人臉資料，辨識出來的結果才會好。」他說。