зеркало из https://github.com/microsoft/DeepSpeed.git
Enable torch compile on _allgather_params (#6769)
* Previosuly ZerO3 was crashing when trying to compile _allgather_params * Disabling grad solves the issue
This commit is contained in:
Родитель
83e4364fbd
Коммит
b5709cce66
|
@ -1882,6 +1882,7 @@ class Init(InsertPostInitMethodToModuleSubClasses):
|
|||
|
||||
return None
|
||||
|
||||
@torch.no_grad()
|
||||
def _allgather_params(self, param_list, hierarchy=0):
|
||||
if len(param_list) == 0:
|
||||
return
|
||||
|
|
Загрузка…
Ссылка в новой задаче