HTC健康醫療事業部DeepQ總經理張智威今揭露自家最新研究成果:KG-GAN,透過自然語言與影像學習,能產生多元又符合現實條件的影像,未來可望解決醫療小數據問題。

圖片來源: 

攝影/王若樸

國際知名學會IEEE旗下國際型旗艦型影像處理會議ICIP今(23日)在臺盛大展開,這也是26年來首次來臺舉辦,共吸引了超過1,500名來自不同國家的專家和業界人士參與,像是Google、微軟、高通和騰訊等,來發表最新AI影像處理研究成果。

HTC健康醫療事業部DeepQ總經理張智威為今年ICIP開幕首日的主講者,揭露了自家研發的知識型AI模型:KG-GAN(也就是Knowledge-Guided GAN),要整合專業知識與GAN框架,來提高生成影像的多元性和精準度。一般來說,在訓練資料數量充足且多元的情況下,GAN可產生逼真多元的影像;但要是訓練樣本不足,就難以產生真實度高且具代表性的影像。

為改善這個問題,DeepQ團隊歷時一年開發出KG-GAN,「運用了AI最擅長的兩個領域,也就是影像與自然語言。」KG-GAN包含兩種生成器(Generator),一種來學習影像資料,另一種來學習專業知識的語言。其中的原理,就是將專業知識化為約束函數,來導引生成器的學習,同時使鑑別器(Discriminator)合理容忍生成影像的多元性。

張智威舉例,假設機器已知80種花朵影像,包括不同顏色、花瓣型態等,而現在要產生20種機器沒見過的花朵影像,KG-GAN就可以已知的文字知識為媒介,透過這20種花朵的文字描述,來產生這些新影像,而且準確度比多種GAN模型要高。這是因為,KG-GAN在專業知識的學習過程中,消除了不合邏輯的現象,比如灰色玫瑰等不存在於現實世界的狀況。而DeepQ也透過2個任務來驗證KG-GAN,像是產生精細影像和頭髮顏色(如下圖)。

「KG-GAN是DeepQ團隊三大研究重心之一,未來可望解決醫療小數據問題,並提高生成影像的真實度。」張智威進一步表示,KG-GAN更是結合大腦感知(Perception)和知識(Knowledge)的嘗試。

另一方面,張智威也揭露了DeepQ團隊的另一研究重心進展,也就是與臺大教授廖世偉共同開發的醫療區塊鏈資訊交換平臺MedXchange(如下圖),以自家研發的多層區塊鏈技術(Multi-layer Blockchain)為基礎,分為主鏈(Public Chain)、帳本(Ledger)、智能合約(Smart Contract)等三個層次。

其中,一個智能合約就是一個程式碼,「也就是自然語言的轉換碼,而非資料,」因此能保護隱私。此外,當智能合約經驗證時,就產生一個交易(Transaction),而交易能直接產生一個區塊與Hashed樹根,而Hash根就儲存於透明的鏈中。

這個機制,讓MedXchange可提高交易處理量、降低延遲,並保護隱私和公開審計。「今年,這個平臺也已在史丹福大學試用。」

其他新進展,還包括了自家去年發布的AI模型自動訓練平臺DeepQ AI Platform,這次強化了資料擴增(Data augmentation)和模型壓縮(Model compaction)功能,讓DeepQ AI Platform除了以AI來執行模型挑選、超參數(Hyper-parameter)調整等工作外,還可透過平臺強化的AI機制,來自動產生多元的訓練資料、解決小數據問題,並透過團隊今年新研發的模型壓縮方法(Information theory based model reduction)來縮減模型,加速AI模型建置時間。文◎王若樸


Advertisement

更多 iThome相關內容