ChatGLM-6B本地化部署
一、硬件要求
| 量化等级 | 最低 GPU 显存（推理） | 最低 GPU 显存（高效参数微调） |
|---|---|---|
| FP16（无量化） | 13 GB | 14 GB |
| INT8 | 8 GB | 9 GB |
| INT4 | 6 GB | 7 GB |
二、环境要求
需先安装git、python
三、下载源码
1 mkdir /gpt 2 cd gpt 3 git clone https://github.com/THUDM/ChatGLM-6B.git
四、安装依赖
pip install -r requirements.txt
五、下载模型
git clone https://huggingface.co/THUDM/chatglm-6b cd chatglm-6b
六、启动
pip install gradio
python web_demo.py
访问对应的地址。