| 微軟 | MoE | Mixture of Experts | Tutel | MoE函式庫 | 深度神經網路 | DNN | 人工智慧 | AI

微軟釋出高效能MoE函式庫Tutel

作為補充當前MoE(Mixture of Experts)的實作,Tutel是個經過最佳化的高效能MoE函式庫,相較於Meta釋出的fairseq,提供大幅的加速

2021-11-25