SOTA

微軟研究院在GitHub上釋出一套自然語言處理（NLP）預訓練模型UniLM，可完成單向、雙向和序列至序列預測，並可針對自然語言理解（NLU）和自然語言生成（NLG）來微調。它在NLP基準測試如SQuAD 2.0和CoQA問答任務方面皆優於BERT，而且在5項NLG資料集上達到SOTA等級，包括摘要生成、問題生成和回答問題等。