关于32K训练咨询

[15024287710Jackson]

你好，我看代码里面没有32K的代码，我想问下是不是我只需要把代码和32K的模型参数（https://huggingface.co/THUDM/chatglm3-6b-32k）下载下来，比如说我要微调chatmodel的，我就执行修改./scripts/finetune_pt.sh里面的模型参数路径到本地的32K的模型参数，启动训练就好了？

[zRzRzRzRzRzRzR]

32K模型代码仅能对话，没有Agent能力，所以也没有工具调用这些，其他可以直接替换

[15024287710Jackson]

好的，感谢，我先自己试试，替换模型是可以的，agent能力和工具迟点再考虑。

[15024287710Jackson]

我当初就是只是很疑惑 32K和不是32K的是否同一份代码

[15024287710Jackson]

微调32K模型的时候，发现loss训练一小时后不再下降反而上升了，一开始是下降到1点多，然后最后又慢慢上升到6点多


我修改的ChatGLM3-main/finetune_chatmodel_demo/scripts/finetune_pt.sh如下：

请问是不是没有32K对应的微调代码？不支持本地代码训练？

[15024287710Jackson]

所以最后训练出来的模型是错误

[15024287710Jackson]

还是说我要全量微调？

[ItsFated]

这个问题有结论不，我这里通过StarCode的C代码预训练微调也是不降反增