Update replace_module.py, test-gptj.py related fix (#2269)

Fix RuntimeError: Boolean value of Tensor with more than one value is ambiguous when running test-gptj.py
This commit is contained in:
Molly Smith 2022-08-26 23:25:27 -07:00 коммит произвёл GitHub
Родитель 55b7b9e008
Коммит a7ee688a6f
Не найден ключ, соответствующий данной подписи
Идентификатор ключа GPG: 4AEE18F83AFDEB23
1 изменённых файлов: 1 добавлений и 1 удалений

Просмотреть файл

@ -656,7 +656,7 @@ def replace_transformer_layer(orig_layer_impl,
if z_inference:
with deepspeed.zero.GatheredParameters(child.bias, modifier_rank=0):
new_bias.data.copy_(child.bias.data)
elif child.bias:
elif child.bias is not None:
new_bias.data.copy_(child.bias.data)
return LinearAllreduce(data, child.bias if child.bias is None else \
torch.nn.parameter.Parameter(new_bias.to(torch.cuda.current_device())), mp_group)