微軟Azure影片索引器正式上線，新加入情緒偵測、語言辨識模型，自動判別講者情緒及使用語言

自今年5月微軟在公有雲平臺釋出影片索引器（Video Indexer）後，近日該公司宣布，影片索引器服務正式上線。這款服務結合了人工智慧，自動幫使用者分析影片中由話語、人臉、人物和表情，建立索引後提供使用者搜尋服務。同時，影片索引服務也能搭配遷入式套件，讓開發者可以將該服務與其他應用程式整合。

微軟表示，影片索引器搭配了數組機器學習模型，分別能處理聲音、演說，以及視覺資料。而這一次正式上線後，微軟新加入了數組機器學習模組。第一組機器學習模型可分析進行情緒偵測（emotion detection），結合影片中的演說情境以及語片，判定影音資料中的情緒內容，例如憤怒、恐懼、悲傷以及歡樂等。

情緒偵測功能也是這次影片索引器上線的新亮點，利用相異顏色劃分情緒種類，在時間軸列出該影片中出現情緒的時間比例。圖片來源：微軟

第二組機器學習模型的功能，則是自動判定影片中使用的語言，未來使用者批次上傳影片檔時，不需要再手動標註，影片索引服務自動就能分析。目前微軟能支援自動判定的語言，包含英語、法語、日語、葡萄牙語、西班牙文、中文等大宗語言。

再者，現在影片索引服務也變得更聰明，開始能辨別該影片的議題、內容。微軟解釋，此功能意即讓系統根據影片中的演說內容、視覺提示（Visual cues）資訊，理解高層次的議題。在關鍵字擷取模型中，演說內容必須出現關鍵字，系統才能判定該演說的範疇。而微軟表示，這個新模型可以根據演說內容，推論該議題的重點，「即便關鍵字未出現在其中。」

除了新增影片索引器內建的機器學習模型，該服務的既有功能也進行加強。例如影片索引器中名人辨識（celebrity recognition）模型，微軟就利用外部資料來源，如大型電影資料庫IMDb、維基百科、LinkedIn等，作為模型訓練的素材。

影片索引服務上線後，內建的名人辨識功能也有加強。在上圖示範中，影片上傳至該分析工具，系統就辨識出微軟執行長Satya Nadella的出現長度，總共占據17％。而在該使用介面，還可以直接搜索與該人相關的資料、簡歷。圖片來源：微軟