Fix DataCollatorForLanguageModeling (#8621)

This commit is contained in:
Sylvain Gugger 2020-11-18 10:02:50 -05:00 коммит произвёл GitHub
Родитель f6fe41c96b
Коммит 8fcb6935a1
Не найден ключ, соответствующий данной подписи
Идентификатор ключа GPG: 4AEE18F83AFDEB23
1 изменённых файлов: 1 добавлений и 1 удалений

Просмотреть файл

@ -261,7 +261,7 @@ class DataCollatorForLanguageModeling:
batch["input_ids"], special_tokens_mask=special_tokens_mask
)
else:
labels = batch["input_ids"]
labels = batch["input_ids"].clone()
if self.tokenizer.pad_token_id is not None:
labels[labels == self.tokenizer.pad_token_id] = -100
batch["labels"] = labels