BERT

Line臺灣兩年前就聯手行政院和4家事實查核機構，成立訊息查證中心，來提供正確的新聞資訊。面對疫情間湧出的大量待查核新聞，Line用兩套NLP模型來加速，一套SBERT用來比對文章近似度，判斷是否為已查核的新聞，若未查核，就用另一套ELECTRA來自動分類文章，派送給領域專家查證。

南投縣政府聯手電信業者，在雙龍瀑布入口路段架設攝影機，以影像辨識AI打造車流壅塞預警系統；南投交警如何用AI揪出偷跑砂石車？中華電信解密；中文版GPT-3來了，中國發布參數破億的超大中文預訓練模型，表現堪比GPT-3； GPT-3也有理解力！MIT新方法讓GPT理解力媲美BERT。

臺灣新創Frontier以16支引擎打造紡織雲平臺，也就是一套數位布片資料庫，來解決紡織業數位化痛點。他們以AWS和其他辨識引擎來自動辨識、校正、降噪和貼標紡織業者上傳的布片，所有流程只需3分鐘；Google新NLP模型就算比BERT少300倍的參數，也能達到相同水準。

OpenAI先前才釋出具1,750億個參數的超大自然語言預訓練模型GPT-3，最近又發表一款模型GPT-f，能以形式化語言Metamath自動證明數學定理；另一方面，Nviida日前在醫療影像醫器學習年會中，揭露一套醫療語音辨識模型Bio-Megatron，可聽懂病患說出的臨床單字，並對應到標準化的健康資料庫中。

新推出的生物醫學文獻探索工具，應用語義搜尋技術良好理解查詢的背後意義，而非僅是進行術語配對

Google用來解析表格資料的新技術，擴展自BERT模型，可將自然語言問題與表格結構編碼，輸出可計算問題結果的過程

借助ONNX Runtime，開發人員可以在CPU和GPU上高效地執行大型Transformer模型

臉書AI研究院日前聯手喬治亞理工學院、奧勒岡州立大學，用12個資料集訓練一套ViLBERT模型，不只可用來解決不同類型的電腦視覺與自然語言任務，參數還從30億個減少至2.7億個，準確度平均提升2分。另一方面，為更精準掌握景氣循環，國發會研擬開發一套景氣循環AI預警系統。此外，由國發會成率領民間團體成立的國家級投資公司台杉投資，明年計畫成立AI科技基金，同時要吸引國外AI技術團隊在臺成立研發中心。