зеркало из https://github.com/microsoft/DeepSpeed.git
Enable torch compile on _allgather_params (#6769)
* Previosuly ZerO3 was crashing when trying to compile _allgather_params * Disabling grad solves the issue
This commit is contained in:
Родитель
83e4364fbd
Коммит
b5709cce66
|
@ -1882,6 +1882,7 @@ class Init(InsertPostInitMethodToModuleSubClasses):
|
||||||
|
|
||||||
return None
|
return None
|
||||||
|
|
||||||
|
@torch.no_grad()
|
||||||
def _allgather_params(self, param_list, hierarchy=0):
|
def _allgather_params(self, param_list, hierarchy=0):
|
||||||
if len(param_list) == 0:
|
if len(param_list) == 0:
|
||||||
return
|
return
|
||||||
|
|
Загрузка…
Ссылка в новой задаче