ChatGLM本地模型部署

ChatGLM2-6B​

ChatGLM2-6B 简介​

ChatGLM2-6B 是开源中英双语对话模型 ChatGLM-6B 的第二代版本，具体介绍可参阅 ChatGLM2-6B 项目主页

推荐配置​

依据官方数据，同样是生成 8192 长度，量化等级为 FP16 要占用 12.8GB 显存、int8 为 8.1GB 显存、int4 为 5.1GB 显存，量化后会稍微影响性能，但不多。

源码部署​

• 1、从GitHub仓库中拉取代码

# 1.从GitHub仓库中拉取代码
git clone https://github.com/THUDM/ChatGLM2-6B

# 2.进入下载源码的目录
cd ChatGLM2-6B

• 2、下载python文件： 点击Python文件
  • 得到两个文件: openai_ai.py 和 requirements.txt
  • 把这两个文件替换到 ChatGLM2-6B 目录里面
• 3、在命令行输入命令(安装依赖)： pip install -r requirments.txt
  • 建议使用python的虚拟环境,以免产生一些不必要的麻烦。
• 4、运行项目： python openai_api.py --model 16 这里的数字根据上面的配置进行选择。
  • 然后等待模型下载，直到模型加载完毕为止。如果出现报错先问百度。
  • 这里可能需要科学上网
• 5、启动成功后应该会显示如下地址：

关于 openai_api.py 启动的一些参数​

• 说明:
  • 如果你 --path 参数设置为 local, 那需要你先把模型下载下来, 放到 ChatGLM2-6B/models 目录下
  • 比如: ChatGLM2-6B/models/chatglm2-6b-int4
  • 然后再去运行: python openai_api.py --model 4 --path local

接口测试​

接入到系统​

ChatGLM3-6B​

• 1、从GitHub仓库中拉取代码

# 1.从GitHub仓库中拉取代码
https://github.com/THUDM/ChatGLM3

# 2.进入下载源码的目录
cd ChatGLM3-6B

• 2、在命令行输入命令(安装依赖)

# PS: 建议使用python的虚拟环境,以免产生一些不必要的麻烦。
pip install -r requirments.txt

• 3、安装cuda依赖 (如果你是用显卡运行,否则忽略该步骤)

3.1、我这边是使用windows系统,首先需要运行一下命令看一下CUDA的版本
    在cmd终端运行: nvidia-smi
    我这边得到的版本是: CUDA Version: 12.2

3.2、然后去torch官网中查看CUDA适配的torch版本
   官网: https://pytorch.org/get-started/locally/

3.3、进入网站后按版本选择安装命令 (根据你电脑实际情况选择)
    PyTorch Build    :  Stable(2.1.0)
    Your OS          : Windows
    Package          : Pip
    Language         : Python
    Compute Platform : CUDA 12.1
    Run this Command : pip3 install torch trchvision ......

3.4、你只需要复制后面 Run this Command 选项的这串 pip3的安装命令, 然后回到你电脑的终端运行即可

• 4、下载python文件： 点击Python文件
  • 得到1个文件: openai_ai.py (此文件就是启动文件)
  • 把这个文件放到到 ChatGLM3-6B 目录里面
• 5、下载模型文件到本地：
  • 下载地址: https://modelscope.cn/models/ZhipuAI/chatglm3-6b/files
  • 把里面列表所有文件都下载回来, 并统一用一个名为 chatglm3-6b 的文件夹存放
  • 然后把该文件夹的(含所有内容) 一并移动到 ChatGLM3-6B/models 目录下面
• 6、运行项目： python openai_api.py 这里的数字根据上面的配置进行选择。
  • 然后等待模型下载，直到模型加载完毕为止。如果出现报错先问百度。
  • 这里可能需要科学上网 (默认是需要从 www.huggingface.org 上面下载模型文件回来的, 时间会比较长)
  • 以上什么参数都没有的实际运行命令是 python openai_api.py --device cuda --path local --model 4
    • 该命令的意思是 启动脚本 使用 【显卡驱动、使用本地下载的模型文件(即上面第5步) 、 使用量化版本】
    • 为什么默认使用量化版本? 因为如果你的显卡显存不够13GB是没办法运行正常的版本的。
    • 如果运行正常版本? 把参数 --model 4 改成 --model 16 即可。
    • 问: 我要运行32k的模型呢? 答: 那你就去下载32k的模型 当然放到源码的models目录下面, 修改一些运行命令运行就行了
• 7、运行后的效果

(venv) PS E:\AI\GLM3> python .\openai_api.py

===========================
本次加载模型的设备为GPU:  NVIDIA CMP 40HX
===========================

正在启动的是量化版本...

Loading checkpoint shards: 100%|█████████████████████████████████████████████████████████| 7/7 [00:23<00:00,  3.41s/it]
INFO:     Started server process [11136]
INFO:     Waiting for application startup.
INFO:     Application startup complete.
INFO:     Uvicorn running on http://0.0.0.0:8100 (Press CTRL+C to quit)

## 注意
## 注意
## 这个就是你的运行接口,配置到知识库系统里那个
接口: http://0.0.0.0:8100

• 8、关于 openai_api.py 启动的一些参数

• 说明:
  • 如果你 --path 参数设置为 local, 那需要你先把模型下载下来, 放到 ChatGLM2-6B/models 目录下
  • 比如: ChatGLM3-6B/models/chatglm3-6b
  • 然后再去运行: python openai_api.py --model 4 --path local
  • PS: 温馨小提示,GLM3不再像之前GLM2那样单独提供量化版本模型下载, 现在是量化模型直接继承在 chatglm3-6b模型上,使用运行命令作为区分。