| google | NLP | 參數 | FDA | SaMD | AI醫材軟體 | NAS | IT周報

AI趨勢周報第156期:參數破兆!Google發表新NLP預訓練模型Switch Transformer

Google Brain利用稀疏技術和多專家模型(MoE),打造出1.6兆參數的NLP預訓練模型Switch Transformer,稱運算成本不變但更快速;經過2年醞釀,美國FDA終於發布AI/ML醫材軟體法規行動計畫;找出最佳神經網路架構好難?德州大學發表且開源無須訓練的神經網路搜尋(NAS)方法TE-NAS。

2021-01-21