This commit is contained in:
Miltos 2020-06-08 08:35:24 +01:00 коммит произвёл GitHub
Родитель 66c13ab174
Коммит 264f608b2a
Не найден ключ, соответствующий данной подписи
Идентификатор ключа GPG: 4AEE18F83AFDEB23
1 изменённых файлов: 1 добавлений и 1 удалений

Просмотреть файл

@ -22,7 +22,7 @@ The input data should be one or more `.jsonl.gz` files. These are compressed [JS
Alternative formats can be accepted by providing the `--tokens-field` and `--id-fields` options.
The `tokenizers` folder in this repository contains tokenizers for
C\#, Java, JavaScript and Python. Please, feel free to contribute tokenizers for other languages too.
C\#,F\#, Java, JavaScript and Python. Please, feel free to contribute tokenizers for other languages too.
# Contributing