microsoft
/
ort-customops
зеркало из https://github.com/microsoft/onnxruntime-extensions.git
1
0
Форкнуть 0
Код Задачи Пакеты Проекты Релизы Вики Активность

Fix the case that bos_token is null (#781)

This commit is contained in:
Wenbing Li 2024-07-31 17:50:20 -07:00 коммит произвёл GitHub
Родитель b4ebfc9519
Коммит 8b002b86ab
Не найден ключ, соответствующий данной подписи
Идентификатор ключа GPG: B5690EEEBB952194
1 изменённых файлов: 11 добавлений и 11 удалений
Показать статистику Скачать Patch файл Скачать Diff файл Показать все файлы Свернуть все файлы

22
operators/tokenizer/bpe_json.hpp
Просмотреть файл

@ -40,14 +40,16 @@ class TokenJsonConfig final {
tokenizer_class_ = json_config.value("tokenizer_class", "");
auto tok_iter = json_config.find("bos_token");
if (tok_iter != json_config.end() && tok_iter->is_object()) {
bos_token_ = tok_iter->value("content", "");
eos_token_ = json_config.value("/eos_token/content"_json_pointer, "");
unk_token_ = json_config.value("/unk_token/content"_json_pointer, "");
} else {
bos_token_ = json_config.value("bos_token", "");
eos_token_ = json_config.value("eos_token", "");
unk_token_ = json_config.value("unk_token", "");
if (tok_iter != json_config.end() && !tok_iter->is_null()) {
if (tok_iter->is_object()) {
bos_token_ = tok_iter->value("content", "");
eos_token_ = json_config.value("/eos_token/content"_json_pointer, "");
unk_token_ = json_config.value("/unk_token/content"_json_pointer, "");
} else {
bos_token_ = json_config.value("bos_token", "");
eos_token_ = json_config.value("eos_token", "");
unk_token_ = json_config.value("unk_token", "");
}
}
auto pad_iter = json_config.find("pad_token");
@ -62,9 +64,7 @@ class TokenJsonConfig final {
return {};
}
const std::string& GetVocabDataFile() const {
return vocab_path_;
}
const std::string& GetVocabDataFile() const { return vocab_path_; }
public:
bool add_bos_token_{};