電腦為聾啞者發聲 打破語言溝通隔閡

電腦即時翻譯聾啞者的手語，以真人發音說出來；不同語言的人靠即時翻譯可以雙向溝通、Excel表格變身3D互動圖表說故事、手機拍照1分鐘內製作3D模型、以大資料預測城市空氣品質，這些都是微軟亞洲研究院在10月30日的15周年慶活動展示的最新研究成果。

微軟全球研究院院長Peter Lee表示，人類所累積的巨量資料，終於能在現今大資料（Big Data）與運算技術的幫助下，獲得前所未有的成果。接下來10年電腦科學研究將為人類的生活發揮更偉大的任務。

語言不同不再是溝通障礙
在微軟亞洲研究院的15周年慶活動，院長洪小文親自上臺示範「即時語音翻譯系統」，他以中文與一位講英文的同事溝通，當他說出第一句中文後，即時語音翻譯系統立刻翻譯成英文，並且模仿他的腔調，由電腦合成發聲，說出英語。

一旁的大螢幕也同步顯示中英文翻譯的對照，當他的美國同事接著以英文回答，電腦就再將英文轉譯為中文發音。兩個人就在即時語音翻譯系統的幫助下，各自說著自己的母語，也能溝通無礙。

微軟全球研究院院長Peter Lee表示，這代表電腦科學在語音辨識與語言翻譯方面的重大突破，經過電腦科學家多年來投入的研究，現在終於能打破人類溝通的隔閡了。

即時翻譯結合Kinect辨識手語，弭平聾啞者溝通障礙
這套即時語音翻譯系統還能結合微軟的Kinect體感控制技術，進一步延伸為手語翻譯系統，做為聾啞者的溝通輔助工具，讓聾啞者與健聽者能夠溝通。

微軟Kinect體感技術的獨特之處，在於能辨識肢體骨骼的運作，進而分析出使用者的行為。因此微軟的電腦科學家就利用Kinect技術來辨識手語的動作，讓電腦能夠理解手語的意思，就能再翻譯成其他的語言。

這套手語翻譯系統的實現，是多種技術的整合，以及多方專家的合作。在技術方面，整合了Kinect for Windows、Bing辭典、微軟翻譯、語言建模及3D建模；此外，電腦科學家必須與手語專家一起合作，微軟與北京聯合大學特殊教育學院合作，在手語專家的協助下，逐一分割出手語的各種手勢，以及連結不同手勢之間的軌跡模式，再透過機器學習技術與模式辨識技術，來判斷手勢所代表的意思。

在電腦可以理解手語的意思之後，再由微軟亞洲研究院專精圖像研究的專家，為這套系統加上最後的虛擬人物（Avatar）溝通介面，讓虛擬人物成為健聽者的代理人，透過虛擬人物逼真的手勢動作，代為以手語與聾啞人士溝通。

這套系統主要提供兩種模式：翻譯模式與溝通模式。翻譯模式主要是針對字詞的翻譯，可以輸入文字，再翻譯成手語，由虛擬人物表達出手語的動作，或是把手語翻譯成文字；溝通模式則是整句翻譯，可以立即翻譯對話。

一位參與此項研究計畫的聾啞者，現場示範與不懂手語的研究員溝通。她面對著1臺Kinect體感控制器與1臺螢幕，以手語跟研究員打招呼。藉由Kinect分析人體肢體骨骼的動作，電腦立即辨識出手語，並翻譯成英文，再由電腦合成的人聲說出英文。與之對話的研究員接著以英文回答，電腦就再將英語翻譯成手語，此時聾啞者面對的螢幕上，虛擬的人物正打著手語傳達訊息，因此聾啞者就知道研究員的話了。

打破手語溝通的隔閡
微軟亞洲研究院研發的語音即時翻譯系統，結合Kinect體感控制器後，即可做為聾啞者的手語翻譯系統，可將手語與其他語言雙向翻譯。有了手語翻譯系統，聾啞人士不再只能跟少數懂手語的人溝通。手語翻譯系統可以發揮很大的功用，例如用於聾啞人士就醫，在這套系統的協助下，任何一位醫生皆能為聾啞者看診。

聾啞者就醫不必挑醫生
微軟研究者設想的手語即時翻譯系統應用情境之一，是用於聾啞人士就醫，即使醫生不懂手語也可以問診。

此外，聾啞人士在這套系統的協助下，可望能夠擔任更多樣的工作，例如服務別人的工作。微軟設想的一個情境是諮詢人員，例如擔任機場的服務人員，面對乘客的諮詢，透過手語翻譯系統，聾啞人士其實也可以正常應答。

從被服務者變成為別人服務
手語翻譯系統讓不懂手語的人，也能協助聾啞者，然而對聾啞者更重大的意義是，在電腦的協助下，他們可以從被服務者變成為他人服務，在工作的選擇上不受到限制。

然而，即便手語翻譯系統的成形讓電腦科學家感到很大的成就感，但這些研究者知道距離完美還有許多事要做。

洪小文表示，要讓不同語言的人能夠溝通，首先要做語音辨識，接著進行語言翻譯，而翻譯是其中最困難的部分，也是實用性能否達到完美的關鍵。他指出，即時語音翻譯系統大致上都能正確翻譯，但仍有一些小地方會犯錯，例如在示範過程中就發生「文字」被電腦誤判為「文治」，「講出來」誤認為「將出來」。

即時語音翻譯系統仍有改善空間
即時語音翻譯系統大致上都能正確翻譯，但在一些小地方仍會犯錯，例如在示範過程中就發生「文字」被電腦誤判為「文治」，「講出來」誤認為「將出來」
 

此外，現在的語音辨識技術還有一個限制，就是詞句之間要稍微停頓，好讓電腦能夠順利斷詞，有助於提升翻譯準確率。不過，他表示，電腦科學家會持續研究下去，而且現在也有大資料等關鍵性技術突破，可分析更多的文字內容，因此這些問題勢必會被解決，人類的語言溝通隔閡總有一天會被打破。

微軟全球研究院院長Peter Lee表示，人類所累積的巨量資料，終於能在現今大資料（Big Data）與運算技術的幫助下，獲得前所未有的成果。他認為，電腦科學的研究將會在接下來10年發揮更偉大的任務，為人類的生活帶來更大的助益。