开源大模型ChatGLM2-6B部署指南

1.ChatGLM2-6B简介

关于ChatGLM2-6B，在其开源项目中的介绍如下： ChatGLM2-6B^[1] 是开源中英双语对话模型ChatGLM-6B的第二代版本，在保留了初代模型对话流畅、部署门槛较低等众多优秀特性的基础之上，ChatGLM2-6B 引入了如下新特性：

• • 更强大的性能：基于 ChatGLM 初代模型的开发经验，全面升级了 ChatGLM2-6B 的基座模型。ChatGLM2-6B 使用了 GLM 的混合目标函数，经过了 1.4T 中英标识符的预训练与人类偏好对齐训练，评测结果显示，相比于初代模型，ChatGLM2-6B 在 MMLU（+23%）、CEval（+33%）、GSM8K（+571%） 、BBH（+60%）等数据集上的性能取得了大幅度的提升，在同尺寸开源模型中具有较强的竞争力。
• • 更长的上下文：基于 FlashAttention 技术，基座模型的上下文长度（Context Length）由 ChatGLM-6B 的 2K 扩展到了 32K，并在对话阶段使用 8K 的上下文长度训练。对于更长的上下文，开发团队还发布了 ChatGLM2-6B-32K 模型。LongBench 的测评结果表明，在等量级的开源模型中，ChatGLM2-6B-32K 有着较为明显的竞争优势。
• • 更高效的推理：基于 Multi-Query Attention 技术，ChatGLM2-6B 有更高效的推理速度和更低的显存占用：在官方的模型实现下，推理速度相比初代提升了 42%，INT4 量化下，6G 显存支持的对话长度由 1K 提升到了 8K。
• • 更开放的协议：ChatGLM2-6B 权重对学术研究完全开放，在填写问卷进行登记后亦允许免费商业使用。

当然，大家也可以通过chatglm.cn^[2]体验更大规模的ChatGLM模型。另外，商用的话请务必遵守其协议。

2.部署准备工作

本文部署基于Windows Server,如果你的设备是linux 或 Mac, 可以参考项目文档进行部署。

在部署ChatGLM2-2b模型之前，首先需要保证系统中已安装版本3.9.x以上的python环境。如果你还未安装，你可以使用Anaconda，或直接前往python^[3]官网前去下载。

然后我们用git将ChatGLM2-6b项目下载至本地

git clone https://github.com/THUDM/ChatGLM2-6B.git
cd ChatGLM2-6B

下载完成后，安装好依赖

pip install -r requirements.txt

transformers 库版本推荐为4.30.2，torch推荐使用2.0及以上的版本，以获得最佳的推理性能。

Windows系统在安装过程中，很有可能会出现因为找不到C++库而出现异常 DLL load failed while importing _sentencepiece, 此时建议你前往Microsoft^[4]装一下C++库，就能解决该问题了。

安装好后，我已经迫不及待想体验一把大模型了，于是直接通过命令，想来感受一下

python  web_demo.py

然而，事与愿违，首先在运行时，会由transformers 自动下载模型实现和参数。而完整的模型实现在Hugging Face Hub^[5]。我的的网络环境较差，于是我决定，先将模型下载下来，让ChatGLM2-6B从本地加载模型，这一个下载，等待了将近1个小时左右吧。修改模型为本地加载，将from_pretrained()的路径改为本地模型路径：

tokenizer = AutoTokenizer.from_pretrained("D:\codespace\LLM\model\chatglm2-6b", trust_remote_code=True)
# GPU推理
# model = AutoModel.from_pretrained("THUDM/chatglm2-6b", trust_remote_code=True).cuda()

# cpu推理
model = AutoModel.from_pretrained("D:\codespace\LLM\model\chatglm2-6b", trust_remote_code=True).float()

如果你是windows操作系统，可以打开任务管理器，看看你的硬件是否有GPU，如果有，建议你选择下面的GPU部署方式体验ChatGLM2-6B大模型。

2.CPU部署

CPU部署ChatGLM2-6B，推荐需要32G内存，由于只是体验下ChatGLM2-6B,我就按官方给出的标准配置了服务器，同时呢，将代码改成：

model = AutoModel.from_pretrained("D:\codespace\LLM\model\chatglm2-6b", trust_remote_code=True).float()

可以通过运行如下命令，启动基于Gradio的网页版demo：

python web_demo.py

确实能跑，但不知道为什么，即使按照项目文档中的说法，将launch方法中的share = Fasle, 改为True后，仍无法通过外网访问。

demo.queue().launch(share=True, inbrowser=True)

于是我采用了经官方测试，运行更为流畅的 streamlit 网页版demo，

streamlit run web_demo2.py

OK, Run起来了，也给同事们体验了一把，但是CPU确实推理速度很差。拍个小视频，顺便附上截图感受下：

回头望一眼，服务器的CPU资源直接被梭哈得精光。

一开始我先用8核，再用16核，最后32核，虽说在推理速度上有一点提升，但还是不够流畅，而且依旧会出现CPU资源占满的情况。

所以还是不推荐大家使用CPU部署啊，太吃力了，对机器和人都是折磨！

3.GPU部署

有些小伙伴可能从未部署过或使用过GPU学习，不要紧！我这就告诉你，怎么把你的GPU用起来。确认你的设备支持GPU后，安装驱动 前往Nvidia^[6]下载驱动并安装

安装GPU驱动中

需要注意一点，一定要核对touch与cuda的相应的版本，否则很有可能报错

AssertionError: Torch not compiled with CUDA enabled

安装完成后，我们进入项目运行 streamlit run web_demo2.py，体验一把！就让它为我们写首诗吧！

4.API 部署

ChatGLM2-6B还支持命令行进行交互式的对话，以及API部署的形式，由于API部署的用处更为广泛，这里我就介绍一下使用API进行部署。

首先需要安装额外的依赖 pip install fastapi uvicorn 然后运行仓库中的api.py

python api.py

默认部署在本地的 8000 端口，通过 POST 方法进行调用

curl -X POST "http://127.0.0.1:8000" \
     -H 'Content-Type: application/json' \
     -d '{"prompt": "你好", "history": []}'

得到的返回值为

{
  "response":"你好👋！我是人工智能助手 ChatGLM2-6B，很高兴见到你，欢迎问我任何问题。",
  "history":[["你好","你好👋！我是人工智能助手 ChatGLM2-6B，很高兴见到你，欢迎问我任何问题。"]],
  "status":200,
  "time":"2023-03-23 21:38:40"
}

运行仓库中的python openai_api.py 可以实现OpenAI格式的流式API部署，用作任意基于GPT应用的后端。有了这个demo，加以优化，岂不是可以实现商业化应用了？不过，记得申请token哦！

5.思考

从ChatGPT大模型2、3月份开始爆火，一鸣惊人，到如今遍地开花，似乎像是一场狂风暴雨，席卷着各行各业，并带来颠覆性的改变。目前大模型的应用，尚且不够完善和普及，但我相信，已经有众多企业在基于开源大模型和一些积累的数据，在做一些机器学习和数据集的训练，对自己原有的产品进行打磨和雕刻，垂直领域的行业通用大模型相信很快就会到来...

我个人的一些观点：

大模型未来的发展，不是只在云上，而要在本地与云环境共同生长。不仅要越大越好，而且要考虑轻量化部署。大模型，也不应该只是拥有高科技企业的专利，也不应该只是云服务厂商专属服务，而是惠及普遍大中小型企业的一次AI革命。大模型涉及到的数据隐私，因此对诸多企业来说，本地化、轻量化部署，或许是他们更希望的最终出路。 而且小规模的针对性数据集训练，对企业来说是十分急迫的需求的，因此轻量化、本地化应是大模型未来发展，长期持续的趋势。

令我最担忧的是，中小企业在这场GPT风云中，又该如何紧握船舵，驶向远方?