在服务端部署openai的api的情况下，客户端可以不调用openai的接口而直接加载glm3模型吗 #708
-
|
在服务端部署openai的api的情况下，客户端可以不调用openai的接口而直接加载chatglm3模型吗？ |
Beta Was this translation helpful? Give feedback.
Replies: 1 comment 4 replies
-
|
没有理解，现在openaidemo就是全功能等glm3-6b |
Beta Was this translation helpful? Give feedback.
-
|
是这样的，我想尝试调用工具，运行openai_api_demo的样例，效果就很差；而运行langchain_demo里的样例效果就很好。所以想求助一下有没有方法能在服务器只部署openaiapi的情况下，像langchain_demo里一样调用chatglm3。 |
Beta Was this translation helpful? Give feedback.
-
|
不行的，langchain是因为GLM3在启动的时候进行了定制， 你可以尝试看看源码中是怎么写的 |
Beta Was this translation helpful? Give feedback.
-
|
langchain 的agent tool会修改prompt， openai的api prompt格式也要按照要求返回，所以还是不一样的。可以把langchain demo的chatglm3部署成简单的api即可，这个我试过是可以用的。 |
Beta Was this translation helpful? Give feedback.
-
|
谢谢解答~ |
Beta Was this translation helpful? Give feedback.
langchain 的agent tool会修改prompt， openai的api prompt格式也要按照要求返回，所以还是不一样的。可以把langchain demo的chatglm3部署成简单的api即可，这个我试过是可以用的。