This commit is contained in:
Greg Yang 2022-05-09 00:37:07 -04:00 коммит произвёл GitHub
Родитель c9d67001c4
Коммит 5dcc1c6847
Не найден ключ, соответствующий данной подписи
Идентификатор ключа GPG: 4AEE18F83AFDEB23
1 изменённых файлов: 1 добавлений и 1 удалений

Просмотреть файл

@ -96,7 +96,7 @@ model = MyModel(width=100)
### `model` behaves exactly the same as `base_model`
### (which is in PyTorch's default parametrization).
### This provides backward compatibility at this particular model size.
### Otherwise, `model`'s init and LR is scaled by μP.
### Otherwise, `model`'s init and LR are scaled by μP.
### IMPORTANT: this should be called as soon as possible,
### before re-initialization and optimizer definition.
set_base_shapes(model, base_model, delta=delta_model)