[museformer] fix parameter problem

This commit is contained in:
btyu 2022-11-12 12:05:12 +08:00
Родитель f26ac898a1
Коммит f5cc95a22b
2 изменённых файлов: 2 добавлений и 2 удалений

Просмотреть файл

@ -28,7 +28,7 @@ def create_attention_v2_s1(
return BlocksparseRpeSelfAttentionV2S1(
*args, block_size=block_size, **kwargs
)
return NotImplementedError(implementation)
raise NotImplementedError(implementation)
def create_attention(

Просмотреть файл

@ -119,7 +119,7 @@ def base_lm_architecture(args):
args.sum2con = ((None,),)
args.sum2sum = ((None,),)
args.attention_impl = getattr(args, "attention_impl", "triton")
args.attention_impl = getattr(args, "attention_impl", "blocksparse")
if args.attention_impl == 'blocksparse':
args.block_size = getattr(args, "block_size", 64)