| AI | 華為 | BERT | NLP | google | RL | 量子電腦 | Deepmind | 語音生成 | GAN | TensorFlow 2.0 | IT周報
AI趨勢周報第104期:更輕更小!華為發表TinyBERT準確度不輸Google BERT
華為發表更輕更小的自然語言處理預訓練模型TinyBERT,比Google BERT小7倍,推論速度卻快上9.4倍。TinyBERT採用知識提煉(KD)和師生框架來改善Google BERT,利用小型學生網路來模仿大型老師網路行為,而KD則著重於Transformer提煉和兩階段學習框架,在大型文本語料庫和下游微調過的TinyBERT之間,增加一個通用TinyBERT。
2019-10-11