BERT

Meta新的語言模型AV-HuBERT，能夠連結語音和影像中說話者的嘴唇動作，提升語音辨識抗噪效果，使單字錯誤率大幅下降

Line臺灣兩年前就聯手行政院和4家事實查核機構，成立訊息查證中心，來提供正確的新聞資訊。面對疫情間湧出的大量待查核新聞，Line用兩套NLP模型來加速，一套SBERT用來比對文章近似度，判斷是否為已查核的新聞，若未查核，就用另一套ELECTRA來自動分類文章，派送給領域專家查證。

要取得全球廣泛認可的國際認證，才能將辛苦種植、養殖的農漁產品出口國際，甚至是上架國際大型連鎖超商！但對農漁民來講，要通過國際認證很困難，甚至要花費一年以上的準備時間。工研院看到這個痛點，協助業者將生產數據上鏈、用AI輔助申報，將資料準備時間縮短一半

臺灣新創Frontier以16支引擎打造紡織雲平臺，也就是一套數位布片資料庫，來解決紡織業數位化痛點。他們以AWS和其他辨識引擎來自動辨識、校正、降噪和貼標紡織業者上傳的布片，所有流程只需3分鐘；Google新NLP模型就算比BERT少300倍的參數，也能達到相同水準。

研究人員利用大量表格資料以及相關的自然語言句子訓練TaBERT，因此TaBERT能夠理解自然語言查詢，並從表格查到答案

新推出的生物醫學文獻探索工具，應用語義搜尋技術良好理解查詢的背後意義，而非僅是進行術語配對

AI2攜手白宮、美國國衛院、微軟及其他組織，共同釋出武漢肺炎開放研究資料集（簡稱CORD-19），內含2萬9千多篇新冠病毒相關論文。Kaggle也同時舉辦CORD-19挑戰賽，要開發者以文字探勘從中找出洞察。另一方面，義大利博科尼大學發表BERTLang網站，提供特定語言的BERT模型和mBERT模型間的評比。Google發表JAX函式庫Neural Tangents，要來打開AI黑盒子。

借助ONNX Runtime，開發人員可以在CPU和GPU上高效地執行大型Transformer模型