萃取應徵者在面試時,短至三十分之一秒的微表情,再運用CNN深度學習,分析這些微表情動態組合,就能預測該名應徵者在職場上的5大性格體現,包括情緒是否足夠穩定、是外向或內向、是開放或保守、是否足夠審慎細心、是否有親和力,以及是否具有良好的溝通技巧等。

圖片來源: 

攝影/翁芊儒

身為應徵者,當面試官詢問:「你是否是個謹慎小心的人?」絕大多數人肯定會回答:「是!」鮮少有人會自曝缺點。但是,嘴巴會騙人,微表情不會,一個三十分之一秒閃過的微表情,就是判斷應徵者真實性格的關鍵。

臺師大科技應用與人力資源發展學系,將微表情與職場性格相連結,透過持續20分鐘的結構式面談,萃取應徵者在面試時,短至三十分之一秒的微表情,再運用CNN深度學習,分析這些微表情動態組合,來預測該名應徵者在職場上的5大性格體現,包括情緒是否足夠穩定、是外向或內向、是開放或保守、是否足夠審慎細心、是否有親和力,以及是否具有良好的溝通技巧等。

臺師大科技應用與人力資源發展學系助理教授孫弘岳解釋,微表情指的是五分之一秒到四十分之一秒內的臉部表情變化,快到肉眼無法識別,就算是善於偽裝的人,也難以控制微表情的變化,因此,資工領域過去已有許多針對微表情的研究,大多是將微表情連結情緒表現,比如找出生氣、害怕、緊張等情緒,來分辨一個人是否說謊。

不過,除了用於測謊,孫弘岳帶領的研究團隊發現,將微表情應用於面試上,也能準確抓出應徵者的職場性格與溝通能力,提前協助面試官篩除不適任的員工。

靠電腦視覺與深度學習,找出微表情與應徵者職場性格、溝通能力的關聯性

研究過程中,為了找出微表情與職場性格的關聯性,臺師大與震旦行合作,取得震旦行企業內部員工回答面試問題的影片,並且取得該名員工自己、主管、下屬、同事、客戶對該名員工性格的印象評分,「我們把性格量表,拿給該名員工周邊的上下級、同事、客戶來打分數,如果三個人以上打的分數一致,就能代表該名員工在職場上的形象。」孫弘岳說。

同時,為了預測應徵者的溝通技巧,臺師大也請多位資深人資主管,來對員工的面試影片評分,透過詢問如「如何跟老闆報告壞消息?如何解決團隊內的衝突?」等問題,由人資主管針對員工的回答來評分,若三位以上的評分結果一致,則作為該名員工溝通技巧的分數。如此一來,臺師大便有了震旦行員工在面試時的應答影片,其職場同僚對其職場性格的評價,以及資深人資主管對其溝通技巧的評價,從2018年Q2累積至今,受試資料已達上千份。

取得這些資料後,首先,研究團隊運用電腦視覺的技術,先在面試影片中的人臉上定位86個偵測點(facial landmarks),透過已申請到專利的HOG-SVM演算法,萃取這86個點位在特定情境與時間下的動態組合,來分析微表情特徵值。

接著,研究團隊運用CNN深度學習,透過不同受試者面試時的微表情變化,與建立在他人觀感之上的評分,找出兩者之間的關聯性,前後共開發了26套AI模型,發現不同性格強弱與微表情之間,以及溝通技巧高低與微表情之間都存在關聯性。進一步將這些AI模型應用在面試影片上,就能從應徵者的微表情分析,來預測其職場上的性格及溝通能力表現。

孫弘岳指出:「我沒辦法告訴你什麼微表情組合,會造就高溝通技巧,或是造成特定的職場性格,因為過程中可能找出上百萬條線索的組合,不是一句話能講完,」但是,儘管預測過程仍是一個黑盒子,研究團隊仍透過AI證實了兩者間的關聯性,確定微表情可以用來預測一個人的職場性格與溝通能力。

不只如此,研究團隊也結合這些震旦行員工拍攝面試影片時的微表情,以及該名員工實際進入職場的績效來進行關聯性分析,發現目前上百人的受試資料中,用員工微表情來預測其業務績效的準確度,竟然高達9成,「我們看到結果也嚇一跳!」孫弘岳表示,透過更多績效資料的蒐集,團隊可將現行的職場性格預測結果,繼續連結到職場的績效表現,這是未來的一大研究方向。

孫弘岳也補充說明,之所以特別強調是「職場性格」,是因這項AI面試研究的基礎,建立在受試者回答結構式問題的面試過程之上,也就是說,一般聊天時的微表情變化,無法測得其職場上的性格表現。且職場性格指的是職場上呈現給他人的形象,並不代表員工本身的真實性格,有時主管對於員工的職場性格認知,還會與下屬、同事的認知不同,這都取決於員工意圖在職場上展現的性格形象而定。

除了能用來預測性格,微表情也能用來預測溝通能力的原因,孫弘岳解釋,試想一個成功的溝通者,往往不是靠嘴巴講了什麼,來說服別人、調解紛爭,具備溝通技巧能力的關鍵,是言行中帶給別人的感受。「所以如果應徵者有很多成功溝通經驗,通常會反映在他的微表情上,非口語的訊息扮演很重的角色,哪怕只是三十分之一秒,都會帶給別人不同的感受。」因此,微表情與溝通能力也呈現一定程度的關聯性。

目前,研究團隊除了持續精進,以微表情預測職場性格及溝通能力的多個AI模型,團隊也正在研究,透過微表情變化,來偵測應徵者每一句話的真實性,判斷應徵者哪一句話在說謊。孫弘岳指出,另一項欲進行的研究,則是要分析,應徵者面對真人面試官與AI面試官,在回答問題時是否產生差異。未來,研究團隊也會持續將過去進行的微表情社會科學研究,與資工技術跨領域結合,來找出更多相關的應用與洞察。

靠AI面試更客觀找出應徵者性格與能力特質,輔助面試官決定聘雇人選

震旦行將這項技術結合到自家的AI面試系統中,目前已有多家國內金融業者、高科技製造業大廠採用。臺師大科技應用與人力資源發展學系主任林坤誼指出,企業之所以採用AI面試技術的原因有三,其一,是為了履行ESG的責任,達到減少碳排放、碳足跡的目的,透過讓應徵者可以先在家面試,以AI進行初步篩選,再找出符合資格者前來企業面試,就能來減少海選時大量應徵者、接待者交通往來的碳足跡;其二,則是為了加強防疫,運用AI面試技術能減少人際交流與互動,降低疫情散播風險。

其三,則是AI面試確實能協助企業先篩掉不適任的人選,更精準的在短時間內哪找出潛在員工,進而減少面試時間的浪費。

孫弘岳也補充說明,面試時,第一印象尤其重要,有時面試官在前兩分鐘,就已經依據第一印象決定是否要聘僱一個人,後面長達18分鐘的問答,可能都只是在側面佐證前兩分鐘的決策結果。但是,這個做法常有不夠客觀的問題。「我們實際的研究也發現,面試官在看人,時常是不準的。」

因此,孫弘岳認為,這套AI面試技術,能讓面試官更快了解應徵者的職場性格特質,且因為這套AI面試技術,本身是以臉部86個偵測點的變化作為分析判斷依據,個人長相、美醜並不會影響AI判讀,反而相對於面試官,能更客觀的給予性格與能力分析。

但是,這套AI技術,無法取代人工面試的功能,大多是擔任輔助的角色,或是只是初步篩選之用,因為實際上要判斷一個人是否能適任一項工作,還需要綜合考量其過去經驗、專業能力。

也非所有場景都適用這套AI辨識技術,「我們現在用在人才徵選,因為企業與應徵者之間的訊息不對等,應徵者不一定會照實回答問題,所以用AI來輔助面試官的決策。」林坤誼指出,但針對企業內部的員工績效考核,就牽涉到企業倫理的問題,員工有個人隱私權,這類場景就較不適用。

先透過手機錄製面試影片,系統將直接節錄不同問題的片段,分類到不同問題的欄位中,同時也會進行AI微表情辨識。

AI將分析應徵者的5類職場性格並自動評分,包括情緒是否足夠穩定、是外向或內向、是開放或保守、是否足夠審慎細心、是否有親和力,以及是否具有良好的溝通技巧。

五大人格特質的進一步分析。

系統也會自動建議面試官可再追問的問題。

熱門新聞

Advertisement