官方LoRa微调后，模型推理出错：CUDA 源码文件的索引操作部分出现了断言错误

[zhoucan666]

CUDA_VISIBLE_DEVICES=0 python inference_hf.py output/checkpoint-3000/ --prompt '你是谁?' 后面就会报图片上面的错误。
GPT给出的分析是：
错误信息的具体内容是：indexSelectSmallIndex: block: [30,0,0], thread: [32,0,0] Assertion 'srcIndex < srcSelectDimSize' failed.
这个错误信息的含义是，在进行索引选择操作时，出现了断言错误。断言的条件是 srcIndex < srcSelectDimSize，也就是源张量的索引值 srcIndex 应该小于源张量选择的维度大小 srcSelectDimSize。
不知道怎么解决这个问题。

[zRzRzRzRzRzRzR]

已修复，更新代码尝试

[zhoucan666]

用更新的finetune_hf.py训练就能够推理了，感谢