This commit is contained in:
Taku Kudo 2018-04-09 19:02:16 +09:00 коммит произвёл GitHub
Родитель 557ed16b05
Коммит c7caf71a37
Не найден ключ, соответствующий данной подписи
Идентификатор ключа GPG: 4AEE18F83AFDEB23
1 изменённых файлов: 1 добавлений и 1 удалений

Просмотреть файл

@ -200,7 +200,7 @@ You can find that the original input sentence is restored from the vocabulary id
```
```<output file>``` stores a list of vocabulary and emission log probabilities. The vocabulary id corresponds to the line number in this file.
## Refine special meta tokens
## Redefine special meta tokens
By default, SentencePiece uses Unknown (&lt;unk&gt;), BOS (&lt;s&gt;) and EOS (&lt;/s&gt;) tokens which have the ids of 0, 1, and 2 respectively. We can redefine these mappings in training phase as follows.
```