This commit is contained in:
subho 2020-12-27 09:55:21 -08:00
Родитель 620c22fd55
Коммит 8c874e11f1
2 изменённых файлов: 0 добавлений и 14 удалений

Просмотреть файл

@ -1,13 +0,0 @@
[MiniLM](https://papers.nips.cc/paper/2020/hash/3f5ee243547dee91fbd053c1c4a845aa-Abstract.html) (NeurIPS 2020) checkpoint to initialize XtremeDistil student model.
If you use MiniLM please cite:
```
@inproceedings{wenhui2020minilm,
title={MiniLM: Deep Self-Attention Distillation for Task-Agnostic Compression
of Pre-Trained Transformers},
author={Wenhui, Wang and Furu, Wei and Li, Dong and Hangbo, Bao and Nan, Yang and Ming, Zhou},
journal={NeurIPS 2020},
year={2020}
}
```

Просмотреть файл

@ -1 +0,0 @@
6 layer MiniLM