This commit is contained in:
Taku Kudo 2018-06-09 00:32:55 +09:00 коммит произвёл GitHub
Родитель 53e4ae415e
Коммит a929b63458
Не найден ключ, соответствующий данной подписи
Идентификатор ключа GPG: 4AEE18F83AFDEB23
1 изменённых файлов: 1 добавлений и 1 удалений

Просмотреть файл

@ -268,7 +268,7 @@ The usage is basically the same as that of ```subword-nmt```. Assming that L1 an
% spm_encode --model=spm.model --generate_vocabulary < {train_file}.L2 > {vocab_file}.L2
```
```shuffle``` command is used just in case because ```spm_encode``` loads the first 10M lines of corpus by default.
```shuffle``` command is used just in case because ```spm_train``` loads the first 10M lines of corpus by default.
Then segment train/test corpus with ```--vocabulary``` option