This commit is contained in:
Evgeny Pavlov 2024-11-04 11:44:00 -08:00 коммит произвёл GitHub
Родитель 371c2daec4
Коммит 8e4b11f7bc
Не найден ключ, соответствующий данной подписи
Идентификатор ключа GPG: B5690EEEBB952194
1 изменённых файлов: 6 добавлений и 1 удалений

Просмотреть файл

@ -19,7 +19,12 @@ vocabSrc = []
pairs = {}
for line in sys.stdin:
trg, src, prob = line.strip().split()
try:
trg, src, prob = line.strip().split()
# some lines include empty items for zh-en, 63 from ~400k
except ValueError:
continue
if trg == "NULL" or src == "NULL":
continue