win11 RTX4070Ti 部署langchain-chatchat

dandan1年前程序开发5225

1、下载py的环境管理工具:Anaconda (等同于node环境的nvm工具)

2、创建一个专属环境

conda create -n langchain python=3.11.7
#安装完后切换
conda activate langchain

3、下载项目文件

#通过git或手工下载项目文件
git clone https://github.com/chatchat-space/Langchain-Chatchat.git
#通过Anaconda中的cmd窗口,进入到项目目录

3、下载模型文件,使用项目默认的模型(下载后应该是在项目目录)

git lfs install
$ git clone https://huggingface.co/THUDM/chatglm3-6b
$ git clone https://huggingface.co/BAAI/bge-large-zh

4、初始化配置文件

python copy_config_example.py

5、对configs/model_config.py文件编辑

#根据EMBEDDING_MODEL的值bge-large-zh-v1.5,找到下方158行的地方,将路径修改为实际路径,前面加r,例如
bge-large-zh-v1.5": r"D:\dev\python\model\bge-large-zh"
#同理修改llm模型的路径,在chatglm3-6b在168行

6、安装

pip install -r requirements.txt 
pip install -r requirements_api.txt
pip install -r requirements_webui.txt

7、装完后其实运行不起来,会提示torch和cuda不匹配,需要单独安装,并且在安装前,需要安装nvidia的cuda toolkit 和 cuDNN

#现在命令窗口确认当前cuda版本,我的是cuda12.2
nvidia-smi

8、到nvidia官网下载https://developer.nvidia.com/cuda-downloads?target_os=Windows&target_arch=x86_64&target_version=11&target_type=exe_local

9、安装完后,还要下载cuDNN,地址(需要先注册登录好像):https://developer.nvidia.com/rdp/cudnn-download

10、下载后,解压出来,将文件夹改名成cudnn放到cuda的目录下,我的目录是:

C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.2

11、可以另起一个cmd窗口,进入extras目录,执行demo_suite文件,如果提示Result=PASS 则ok

12、同理也执行deviceQuery.exe

13、去pytorch官完安装gpu版本的torch,地址:https://pytorch.org/get-started/locally/

#当前没有cuda12.2的,选了12.1其实也可以用,另外用pip先安装了一次,发现没有效果,可能项目里已经pip依赖装过了,我换conda安装就可以
conda install pytorch torchvision torchaudio pytorch-cuda=12.1 -c pytorch -c nvidia

14、查看cuda是否可用

#进入python
python
#引入文件,回车
import torch
#打印状态,出现true则代表成功
torch.cuda.is_available()

15、引入项目带的演示知识库

python init_database.py --recreate-vs

16、启动项目

python startup.py -a


相关文章

宝塔ftp连不上

1、先检查端口是否有开放,涉及宝塔端口 和 云服务器的安全组;2、对Pure-ftpd的配置文件中,大概180来行的ForcePassiveIP  开放,并且把ip改成服务器的外网ip;...

linux安装go环境

1、在 https://go.dev/dl/  下载linux的包2、上传到服务器,解压,比如放到/opt后,执行下命令,解压到当前目录得到go文件夹tar -xzf&n...

wsl2安装docker+dify+xinference

1、wsl2安装ubuntu,这里指定版本安装一个新环境 wsl --install -d Ubuntu-22.042、安装完的ubuntu是在c盘的,放到其他...

go-zero安装

go版本1.20.2go环境变量export GOROOT=/Users/yelin/go_dev/go export GOPATH=/Users/yelin/go_dev/pr...

k8s学习

k3s学习环境安装,准备3台虚拟机,centos7.6以上操作每台机子都要执行,操作完成后,修改主机名hostnamectl set-hostname k8s-master...

git操作

将本地现有项目放到远端上:添加远程仓库: git remote add [远端名称] [远端地址], 名称一般默认都是origin,地址就是项目地址git remote add&n...

发表评论    

◎欢迎参与讨论,请在这里发表您的看法、交流您的观点。