前言首先感谢智谱AI和清华大学 KEG 实验室联合开源的ChatGLM3对话预训练模型让我们国人有属于自己的AI聊天机器人。ChatGLM3-6B 的基础模型 ChatGLM3-6B-Base 采用了更多样的训练数据、更充分的训练步数和更合理的训练策略。在语义、数学、推理、代码、知识等不同角度的数据集上测评显示ChatGLM3-6B-Base 具有在 10B 以下的基础模型中最强的性能。默认情况下模型以 FP16 精度加载测试运行需要大概 16GB 显存。如果你的 GPU 显存有限可以尝试以量化方式加载模型或者CPU运算方式测试运行模型下面流程是基于GPU的。ChatGLM2和ChatGLM3性能对比与二代模型相比其效果平均提升了超过 50%安装流程1 部署python3.10运行环境使用conda2 安装cuda和cudnn比较麻烦cudnn需要登录NVIDIAcudnn下载我是科学上网通过的3 安装torch和torch.cuda4 chatGML3源码下载5 chatGML3-6b-8k模型下载6 修改测试代码模型的路径为本地下载安装condaconda是什么不过多介绍了自行百度。。下载地址Free Download | Anaconda安装对应版本的CUDA 和 cuDNN好吧先说一下cuda是什么还有cuDNN是什么CUDA 是 NVIDIA 公司推出的一种通用并行计算架构全称为 Compute Unified Device Architecture。它旨在让软件开发人员能够利用 NVIDIA GPU图形处理器的强大并行计算能力来解决复杂的计算问题尤其是在那些原本由 CPU中央处理器执行时效率较低或耗时较长的任务上。cuDNN 是 NVIDIA 提供的用于深度神经网络的 GPU 加速库它高效实现了深度学习中常见的运算原语如卷积、池化、归一化和激活函数旨在提升深度学习模型训练和推理的性能、易用性和内存效率。注意CUDA和cuDNN在模型测推理和下载pytorch版本时候都是相关联的查看自己电脑对应的cuda版本号按住win R 调出命令终端输出cmdnvidia-smi上图红色框内的12.4就是cuda的版本CUDA的安装链接: CUDA本地和软件下载都一样不要纠结。。。。。这个文件也比较大需要一些时间。这是一个很详细的cuda和cuDNN安装教程包括一些环境变量的配置链接: CUDA安装教程.创建虚拟环境conda create -n chatglm3 python3.10 conda activate chatglm3 conda install pytorch torchvision torchaudio pytorch-cuda12.1 -c pytorch -c nvidia注意python版本需要3.10pytorch-cuda版本的查看地址 pytorch注意pytorch-cuda12.1 12.1要修改为您自己对应的版本而且版本一定要和cuda的版本对应验证torch.cuda是否安装成功import torch print(torch.cuda.is_available())返回true代表成功ChatGLM3源码安装切换到conda模型基础运行代码已经上传到 github 和 SwanHub 两个平台两个平台的信息同步。开发者通过以下方式下载模型代码。从 github 下载源码git clone https://github.com/THUDM/ChatGLM3.git从 SwanHub 下载源码git clone https://swanhub.co/ZhipuAI/ChatGLM3.git安装扩展pip install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple --trusted-host pypi.tuna.tsinghua.edu.cn下载预训练好的基础模型文件Huggingface 下载git lfs install git clone https://huggingface.co/THUDM/chatglm3-6b.gitModelscope 下载git lfs install git clone https://www.modelscope.cn/ZhipuAI/chatglm3-6b.gitSwanHub 下载git lfs install git clone https://swanhub.co/ZhipuAI/chatglm3-6b.git注意这里文件比较大需要一些时间的下载好就是下面的样子测试模型demoMODEL_PATH 是模型文件存储的地方也就是预训练的基础文件目录TOKENIZER_PATH 是分词器目录和MODEL_PATH一样就可以注意我的显卡是4090 24G显存如果你的低于这个配置最好模型量化测试不然不知道显卡会不会烧坏。。。。模型量化量化方式加载模型使用方法如下model AutoModel.from_pretrained(THUDM/chatglm3-6b, trust_remote_codeTrue).quantize(4).cuda()CPU 部署如果你没有 GPU 硬件的话也可以在 CPU 上进行推理但是推理速度会更慢。注意除了慢还需要至少32G以上内存model AutoModel.from_pretrained(THUDM/chatglm3-6b, trust_remote_codeTrue).float()运行测试测试文件在basic_demo目录下python cli_demo.py当出现一下画面就可以和chatglm3对话了兄弟点个赞吧web_demo_gradio.py 是页面的demopython web_demo_gradio.py 运行。关注我后续还会更新如何微调 chatglm3 也就是让它成为你的个性化ai智能语言模型。