Skip to content
New issue

Have a question about this project? Sign up for a free GitHub account to open an issue and contact its maintainers and the community.

By clicking “Sign up for GitHub”, you agree to our terms of service and privacy statement. We’ll occasionally send you account related emails.

Already on GitHub? Sign in to your account

如果在云服务器上运行,没有配置代理需要注释掉这段代码,避免出现模型加载失败情况 #108

Closed
XksA-me opened this issue Jul 28, 2023 · 5 comments

Comments

@XksA-me
Copy link

XksA-me commented Jul 28, 2023

image

由于作者做了异常处理,如果没有配置代理或者端口不一致,可能直接显示“模型未成功重新加载,请点击重新加载模型”,而不清楚错误原因,建议这部分加些日志输出打印错误原因

image

@XksA-me
Copy link
Author

XksA-me commented Jul 28, 2023

app.py 文件

@XksA-me
Copy link
Author

XksA-me commented Jul 28, 2023

记录下我在 matpool.com 复现过程:
租用环境:Pytorch 2.0
1、安装运行步骤:
github 链接前加国内源可以加速下载,安装包也一样,如果是从github安装,在github链接前加上国内源即可:https://ghproxy.com/

git clone https://ghproxy.com/https://github.com/thomas-yanxin/LangChain-ChatGLM-Webui
cd LangChain-ChatGLM-Webui/
pip install -r requirements.txt 

2、环境配置好,放模型,我的模型下载上传在矩池云网盘,目录是 /mnt/example/chatglm-6b

3、修改配置代码:把模型相对路径改下自己模型存放位置的绝对路径,就是上面写的,你要改成你自己模型所在位置
image

我只测试下 chatglm-6b,所以把默认模型改成了 chatglm-6b。
image

4、修改app.py代码:注释代理配置代码。

image

另外加了两个print打印异常信息,方便日志排查问题。
image

5、运行代码:

cd LangChain-ChatGLM-Webui/
python app.py

image
第一次启动会要下载写模型,国内访问huggingface时快时慢。。。如果有啥错误多运行几次,或者本地下载好上传到服务器。

6、页面显示
image

随便创建一个123.txt文件
image

文件sh上传完成后,需要点下知识库文件向量化,然后就可以开始提问啦
image

7、提问
image
整体体验比较好,因为给的数据有限,所以效果自然有限,欢迎大家指正交流。

@XksA-me
Copy link
Author

XksA-me commented Jul 28, 2023

哦 我有一个问题,在提问的时候,程序运行日志会提示下面错误,但好像并不影响程序本身运行
image

@thomas-yanxin
Copy link
Member

如果可以提个PR趴~

@thomas-yanxin thomas-yanxin pinned this issue Aug 12, 2023
@ev2li
Copy link

ev2li commented Sep 15, 2023

不在服务器上设置代理,没有办法获得到public url

Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment
Labels
None yet
Projects
None yet
Development

No branches or pull requests

3 participants