NLP

2019年，Julia終於有自己的Transformer開發套件，其完整度更受社群好評，成為開發NLP模型的首選工具。這個Transformers.jl套件的貢獻者，就出自臺灣一位碩士生鄭景文之手

過去Amazon Comprehend只能處理純文字檔案，而現在還能處理Word和PDF文件檔案，以及筆記或是列表等資料內容。

Line臺灣兩年前就聯手行政院和4家事實查核機構，成立訊息查證中心，來提供正確的新聞資訊。面對疫情間湧出的大量待查核新聞，Line用兩套NLP模型來加速，一套SBERT用來比對文章近似度，判斷是否為已查核的新聞，若未查核，就用另一套ELECTRA來自動分類文章，派送給領域專家查證。

KPMG對全美950家、年收達10億美元的企業進行AI調查，發現AI挑戰仍是人才技能，但大多數CXO比經理等級主管還要樂觀，認為員工具備足夠AI技能，另一個挑戰是選對工具、建立底層架構；Google屢屢突破NLP天花板，發表比BERT強1,000倍的模型；OpenAI推出AI新創基金專案。

臉書用Transformer架構，打造出熟練7種任務的AI模型，且都用同一套參數；如何讓AI更懂一張圖中的千言萬語？Google AI大神Hinton：試試融合5種AI的GLOM；ML模型錯在哪秀給你看！微軟推出ML可視化錯誤分析工具包；HPE邊緣運算系統首次進駐太空站；30張圖片就能訓練模型！AWS推出工業瑕疵檢測服務。

Google Brain利用稀疏技術和多專家模型（MoE），打造出1.6兆參數的NLP預訓練模型Switch Transformer，稱運算成本不變但更快速；經過2年醞釀，美國FDA終於發布AI/ML醫材軟體法規行動計畫；找出最佳神經網路架構好難？德州大學發表且開源無須訓練的神經網路搜尋（NAS）方法TE-NAS。

Google Brain在一篇論文中揭露自行開發的深度學習框架自動化工具TF-Coder，可處理張量操作，來符合框架的各種要求，而且經測試，能在5分鐘內解決63個搜尋任務，比TensorFlow專家還要快；微軟日前研發一套生醫NLP預訓練模型和Benchmark，完全以生醫語料訓練而成，號稱比通用預訓練模型要精準。

英國有家AI新創Factmata，過去專注於運用NLP技術開發新聞內容分析引擎，不過在這波疫情期間，轉而投入疫情假訊息儀表板的開發。其執行長Dhruv Ghulati 5月底在Twitter揭露，即將要發布這項成果