关于 example size 的问题 about autogptq

[PanQiWei]

噢！是我的疏忽，llama 的 attention_mask 在进入到 transformer layer 之前需要被 reshape, 类似于 opt。我一会就把这个修复掉，如果你想快速体验的话，可以在 auto_gptq.modeling.llama 里覆写以下函数：

@staticmethod
def _resize_attention_mask(attention_mask):
        attention_mask = [attention_mask.unsqueeze(1) for attention_mask in attention_mask]
        return attention_mask

然后从源码重新安装一下，不出意外应该就没问题了。

还有一些其他的问题，我会统一进行修复

[PanQiWei]

噢！是我的疏忽，llama 的 attention_mask 在进入到 transformer layer 之前需要被 reshape, 类似于 opt。我一会就把这个修复掉，如果你想快速体验的话，可以在 auto_gptq.modeling.llama 里覆写以下函数：

@staticmethod
def _resize_attention_mask(attention_mask):
        attention_mask = [attention_mask.unsqueeze(1) for attention_mask in attention_mask]
        return attention_mask

然后从源码重新安装一下，不出意外应该就没问题了。

[qitianyuu]

好的！多谢🙏

[qitianyuu]

好的！多谢🙏