Google公布新的AI架構Pathways,強調可改善現有機器學習過於專注單一任務的問題,Pathways能同時處理多樣任務、快速學習新任務、具備完整理解力。(圖片來源/Google)

Google上周公布可改善現有機器學習過於專注單一任務的問題,能同時處理多樣任務、快速學習新任務、具備完整理解力的AI架構Pathways。

Google資深院士Jeff Dean指出,現今的機器學習模型大都是為單一新問題而從頭訓練起,訓練好也只用於一項任務,結果企業或科學家開發出數千種單一任務的模型。由於模型能力無法累積、概括化(generalize),每次機器學習過程要花更久時間,需要的資料也更多,但人腦學習的運作並非如此,因為人類會在舊技能基礎上學習新技能。

因此Google想訓練的是不但能處理多種不同任務的模型,而且還能利用及結合它在一項技能學習到的能力(學習從空照圖預測地面抬升的能力),來學習另一項新技能(例如預測洪水是否會流經某地形)。

Google想訓練的是,可概括化到數百萬種任務的單一AI模型架構,它有多種能力,需要時可以調用,又能整合這些能力來執行更複雜的新任務。Google稱之為Pathways。利用Pathways,Google將開發能因應新需求、新問題的次世代AI系統。

Dean解釋,今天的機器學習模型是一次處理資訊的單一模態(modality),無法同時處理一個以上。但Pathways使用多模態模型,可同時處理視覺、聽覺及語言理解。例如當系統不論聽到、看到「獵豹」這個字詞,或是看到這個動物的影像,都會引發同一種反應。Dean指出,這種多模態能力的模型能看得更全面,避免偏見或錯誤。

此外,除了這些資訊,Pathways還能處理更多類抽象資訊,例如幫助科學家從複雜的天氣系統中,找出許多難以發現的資料規律(pattern)。

Google 指出Pathways另一個優點是更有效率。Dean解釋,現有機器學習模型處理任務都太密集、太「勞師動眾」,即不論問題大小、簡單或複雜,都會啟動整個神經網路。但Pathways更像人腦的運作,處理簡單任務只會啟動零星資源,即啟用神經網路的一小部份路徑,而且它還會動態學習什麼任務、最適合使用哪些路徑,使得系統更有效率。

例如Google建立的2個最大的機器學習模型,包括GShard 和Switch Transformer因為已經具有「零星啟動」特性,因此和同樣大的密集模型系統相比,僅耗費1/10的能源。

熱門新聞

Advertisement