部署完chatglm3-6b以后，运行web_demo_gradio.py报显存溢出错误

[awelldone]

python：3.12.2
torch：2.2.1+cu121
服务器：Linux Ubuntu
显卡：a100 40g

错误阐述：
服务器一共有八张a100显卡 ，其他7张在调用，指定为卡3加载模型，在加载前，卡3有人使用了2572mb，还剩37g左右，在加载模型进入web网页提问后，model_chatglm.py报显存溢出错误。
代码只修改了这一处：
model = AutoModelForCausalLM.from_pretrained(
model_dir, trust_remote_code=trust_remote_code,device='cuda:3'
) ，其中device改为了‘cuda：3’