关于Tokenizer对于一些特殊词的失效

[Mr-KenLee]

我在使用tokenizer对例如“你好”进行编码的时候，得到的结果是[36474, 54591, 1833, 30917, 30994]，即作为eos_token的""被拆分成了1833, 30917, 30994，请问这是什么原因呢？
我的代码如下：

from transformers import AutoTokenizer
tokenizer = AutoTokenizer.from_pretrained("chatglm3-6b", trust_remote_code=True)
token_ids = tokenizer.encode("你好</s>", add_special_tokens=False)
print(token_ids)

[zRzRzRzRzRzRzR]

按照 basic_demo 中读入tokenizer等方法读入，我们有自己的模板