Enable torch compile on _allgather_params (#6769)

* Previosuly ZerO3 was crashing when trying to compile _allgather_params
* Disabling grad solves the issue
This commit is contained in:
Max Kovalenko 2024-11-21 18:01:13 +02:00 коммит произвёл GitHub
Родитель 83e4364fbd
Коммит b5709cce66
Не найден ключ, соответствующий данной подписи
Идентификатор ключа GPG: B5690EEEBB952194
1 изменённых файлов: 1 добавлений и 0 удалений

Просмотреть файл

@ -1882,6 +1882,7 @@ class Init(InsertPostInitMethodToModuleSubClasses):
return None return None
@torch.no_grad()
def _allgather_params(self, param_list, hierarchy=0): def _allgather_params(self, param_list, hierarchy=0):
if len(param_list) == 0: if len(param_list) == 0:
return return