This commit is contained in:
evgeny pavlov 2024-11-06 15:57:59 -08:00
Родитель b90d4ae784
Коммит b057ce210c
Не найден ключ, соответствующий данной подписи
Идентификатор ключа GPG: 807DBFCD1219B50D
1 изменённых файлов: 1 добавлений и 2 удалений

Просмотреть файл

@ -84,6 +84,7 @@ bad_mtdata_sizes = {
# evaluation/validation data augmentation modifier. It depends on a language pair
aug_mix_modifier = None
def is_cjk(source: str, target: str) -> bool:
return source in CJK_LANGS or target in CJK_LANGS
@ -293,8 +294,6 @@ def normalize_corpus_name(corpus_name: str):
return corpus_name
def add_test_data(
source: str,
target: str,