寻求帮助：如何使用embedding作为输入给model生成输出

[LittleGreenYuan]

在训练过程中，想要对Embedding后的Token向量进行修改（类似Prompt-Tuning），但是我的方法似乎出现了问题，不知道有没有人遇到过这样的问题：

tokenizer = AutoTokenizer.from_pretrained(MODEL_PATH, trust_remote_code=True)
config = AutoConfig.from_pretrained(MODEL_PATH, trust_remote_code=True)
model = AutoModel.from_pretrained(MODEL_PATH, config=config, trust_remote_code=True)
model = model.eval()

input_ids = torch.tensor(tokenizer('你好，这里是一个测试。')['input_ids'])
input_ids_embeds = model.transformer.embedding(input_ids)
input_ids_embeds = torch.cat((input_ids_embeds,input_ids_embeds),-1)
output = model(input_ids_embeds)