AI面試有新工具！臺師大開發微表情AI辨識技術，即時預測應徵者職場性格與溝通能力，輔助HR聘雇決策

身為應徵者，當面試官詢問：「你是否是個謹慎小心的人？」絕大多數人肯定會回答：「是！」鮮少有人會自曝缺點。但是，嘴巴會騙人，微表情不會，一個三十分之一秒閃過的微表情，就是判斷應徵者真實性格的關鍵。

臺師大科技應用與人力資源發展學系，將微表情與職場性格相連結，透過持續20分鐘的結構式面談，萃取應徵者在面試時，短至三十分之一秒的微表情，再運用CNN深度學習，分析這些微表情動態組合，來預測該名應徵者在職場上的5大性格體現，包括情緒是否足夠穩定、是外向或內向、是開放或保守、是否足夠審慎細心、是否有親和力，以及是否具有良好的溝通技巧等。

臺師大科技應用與人力資源發展學系助理教授孫弘岳解釋，微表情指的是五分之一秒到四十分之一秒內的臉部表情變化，快到肉眼無法識別，就算是善於偽裝的人，也難以控制微表情的變化，因此，資工領域過去已有許多針對微表情的研究，大多是將微表情連結情緒表現，比如找出生氣、害怕、緊張等情緒，來分辨一個人是否說謊。

不過，除了用於測謊，孫弘岳帶領的研究團隊發現，將微表情應用於面試上，也能準確抓出應徵者的職場性格與溝通能力，提前協助面試官篩除不適任的員工。

靠電腦視覺與深度學習，找出微表情與應徵者職場性格、溝通能力的關聯性

研究過程中，為了找出微表情與職場性格的關聯性，臺師大與震旦行合作，取得震旦行企業內部員工回答面試問題的影片，並且取得該名員工自己、主管、下屬、同事、客戶對該名員工性格的印象評分，「我們把性格量表，拿給該名員工周邊的上下級、同事、客戶來打分數，如果三個人以上打的分數一致，就能代表該名員工在職場上的形象。」孫弘岳說。

同時，為了預測應徵者的溝通技巧，臺師大也請多位資深人資主管，來對員工的面試影片評分，透過詢問如「如何跟老闆報告壞消息？如何解決團隊內的衝突？」等問題，由人資主管針對員工的回答來評分，若三位以上的評分結果一致，則作為該名員工溝通技巧的分數。如此一來，臺師大便有了震旦行員工在面試時的應答影片，其職場同僚對其職場性格的評價，以及資深人資主管對其溝通技巧的評價，從2018年Q2累積至今，受試資料已達上千份。

取得這些資料後，首先，研究團隊運用電腦視覺的技術，先在面試影片中的人臉上定位86個偵測點（facial landmarks），透過已申請到專利的HOG-SVM演算法，萃取這86個點位在特定情境與時間下的動態組合，來分析微表情特徵值。

接著，研究團隊運用CNN深度學習，透過不同受試者面試時的微表情變化，與建立在他人觀感之上的評分，找出兩者之間的關聯性，前後共開發了26套AI模型，發現不同性格強弱與微表情之間，以及溝通技巧高低與微表情之間都存在關聯性。進一步將這些AI模型應用在面試影片上，就能從應徵者的微表情分析，來預測其職場上的性格及溝通能力表現。

孫弘岳指出：「我沒辦法告訴你什麼微表情組合，會造就高溝通技巧，或是造成特定的職場性格，因為過程中可能找出上百萬條線索的組合，不是一句話能講完，」但是，儘管預測過程仍是一個黑盒子，研究團隊仍透過AI證實了兩者間的關聯性，確定微表情可以用來預測一個人的職場性格與溝通能力。

不只如此，研究團隊也結合這些震旦行員工拍攝面試影片時的微表情，以及該名員工實際進入職場的績效來進行關聯性分析，發現目前上百人的受試資料中，用員工微表情來預測其業務績效的準確度，竟然高達9成，「我們看到結果也嚇一跳！」孫弘岳表示，透過更多績效資料的蒐集，團隊可將現行的職場性格預測結果，繼續連結到職場的績效表現，這是未來的一大研究方向。

孫弘岳也補充說明，之所以特別強調是「職場性格」，是因這項AI面試研究的基礎，建立在受試者回答結構式問題的面試過程之上，也就是說，一般聊天時的微表情變化，無法測得其職場上的性格表現。且職場性格指的是職場上呈現給他人的形象，並不代表員工本身的真實性格，有時主管對於員工的職場性格認知，還會與下屬、同事的認知不同，這都取決於員工意圖在職場上展現的性格形象而定。

除了能用來預測性格，微表情也能用來預測溝通能力的原因，孫弘岳解釋，試想一個成功的溝通者，往往不是靠嘴巴講了什麼，來說服別人、調解紛爭，具備溝通技巧能力的關鍵，是言行中帶給別人的感受。「所以如果應徵者有很多成功溝通經驗，通常會反映在他的微表情上，非口語的訊息扮演很重的角色，哪怕只是三十分之一秒，都會帶給別人不同的感受。」因此，微表情與溝通能力也呈現一定程度的關聯性。

目前，研究團隊除了持續精進，以微表情預測職場性格及溝通能力的多個AI模型，團隊也正在研究，透過微表情變化，來偵測應徵者每一句話的真實性，判斷應徵者哪一句話在說謊。孫弘岳指出，另一項欲進行的研究，則是要分析，應徵者面對真人面試官與AI面試官，在回答問題時是否產生差異。未來，研究團隊也會持續將過去進行的微表情社會科學研究，與資工技術跨領域結合，來找出更多相關的應用與洞察。

靠AI面試更客觀找出應徵者性格與能力特質，輔助面試官決定聘雇人選

震旦行將這項技術結合到自家的AI面試系統中，目前已有多家國內金融業者、高科技製造業大廠採用。臺師大科技應用與人力資源發展學系主任林坤誼指出，企業之所以採用AI面試技術的原因有三，其一，是為了履行ESG的責任，達到減少碳排放、碳足跡的目的，透過讓應徵者可以先在家面試，以AI進行初步篩選，再找出符合資格者前來企業面試，就能來減少海選時大量應徵者、接待者交通往來的碳足跡；其二，則是為了加強防疫，運用AI面試技術能減少人際交流與互動，降低疫情散播風險。

其三，則是AI面試確實能協助企業先篩掉不適任的人選，更精準的在短時間內哪找出潛在員工，進而減少面試時間的浪費。

孫弘岳也補充說明，面試時，第一印象尤其重要，有時面試官在前兩分鐘，就已經依據第一印象決定是否要聘僱一個人，後面長達18分鐘的問答，可能都只是在側面佐證前兩分鐘的決策結果。但是，這個做法常有不夠客觀的問題。「我們實際的研究也發現，面試官在看人，時常是不準的。」

因此，孫弘岳認為，這套AI面試技術，能讓面試官更快了解應徵者的職場性格特質，且因為這套AI面試技術，本身是以臉部86個偵測點的變化作為分析判斷依據，個人長相、美醜並不會影響AI判讀，反而相對於面試官，能更客觀的給予性格與能力分析。

但是，這套AI技術，無法取代人工面試的功能，大多是擔任輔助的角色，或是只是初步篩選之用，因為實際上要判斷一個人是否能適任一項工作，還需要綜合考量其過去經驗、專業能力。

也非所有場景都適用這套AI辨識技術，「我們現在用在人才徵選，因為企業與應徵者之間的訊息不對等，應徵者不一定會照實回答問題，所以用AI來輔助面試官的決策。」林坤誼指出，但針對企業內部的員工績效考核，就牽涉到企業倫理的問題，員工有個人隱私權，這類場景就較不適用。

先透過手機錄製面試影片，系統將直接節錄不同問題的片段，分類到不同問題的欄位中，同時也會進行AI微表情辨識。

AI將分析應徵者的5類職場性格並自動評分，包括情緒是否足夠穩定、是外向或內向、是開放或保守、是否足夠審慎細心、是否有親和力，以及是否具有良好的溝通技巧。

五大人格特質的進一步分析。

系統也會自動建議面試官可再追問的問題。