Ollama部署Deepseek-R1大模型实操教程

火爆的Deepseek-R1开源大模型,不自己部署一下,实难对得起狂热的人工智能,下面就教大家如何本地部署Deepseek-R1开源大模型。
图片

【环境】

    硬件配置:

        x86平台

        CPU:E3-1505M

        GPU:NVIDIA M2000M 4GB

        内存:48GB

        硬盘:1.5TB
    软件配置:
        操作系统:windows 10 x64 专业版
【部署】
    用Ollama部署Deepseek-R1方法(确保可访问https://ollama.com和https://github.com网站):
    1、下载安装ollama。
        登录网站后,直接点击Download即可,如下:
图片

    2、进去ollama程序

使用cmd+r命令进入命令提示符,输入如下命令:

ollama -v

成功示例:

C:\Users\willi>ollama -v

ollama version is 0.5.7

3、deepseek-r1模型选择与拉取

对于模型的选择,建议大家根据自己电脑配置选择,否则卡死你。当然,模型越大效果越好。下面是我安装的一些模型:

图片

        通过对上述模型的运行,确认可以流畅运行1.5b、7b模型,14b模型运行较慢,卡顿明显。而70b模型实在不适合本机运行,超级慢,光<think>都要等很久,输出差不多好几秒才1个字,但它的理解能力确实是我安装的几个模型中最好的。小编是计划删除该模型,占用空间不说,关键是运行不起来啊。

用ollama最大的好处是,可以随意拉取需要的模型,做本地部署。如果要运行最好的效果,条件好的选手可以拉取如下671b模型试试。

DeepSeek-R1的完整模型是671b,但本地部署的小伙伴还是别想了,电脑能力不够,必须上集群计算。

ollama run deepseek-r1:671b

也可以安装蒸馏模型,占用空间和运行压力都会小一很多,如下(随便安装一个就行):

DeepSeek-R1-Distill-Qwen-1.5B模型

ollama run deepseek-r1:1.5b

DeepSeek-R1-Distill-Qwen-7B模型

ollama run deepseek-r1:7b

DeepSeek-R1-Distill-Llama-8B模型

ollama run deepseek-r1:8b

DeepSeek-R1-Distill-Qwen-14B模型

ollama run deepseek-r1:14b

DeepSeek-R1-Distill-Qwen-32B模型

ollama run deepseek-r1:32b

DeepSeek-R1-Distill-Llama-70B模型

ollama run deepseek-r1:70b

4、当界面显示>>>开头时,说明可以和deepseek对话了。

图片

/help 显示帮助信息

/bye 退出对话

/clear 清楚当前会话的上下文信息,即重新开始会话

5、利用chatbox访问(可选,本文不做说明,感兴趣的小伙伴自己尝试吧)

到https://chatboxai.app地址下载对应系统的程序,然后按照步骤连接到模型即可。

【应用】

启动DeepSeek-R1-Distill-Qwen-1.5B模型模型,验证下效果。如下:

图片

    奇怪啊,为什么她叫小红啊?如果你用chatbox访问,效果会更好,下面是我用chatbox对话的效果。

图片

    奇怪的是,用的同一个模型,但是得到的答案完全不一样,应该与上下文有关系(self-attention机制导致),清除前文会话后,得到的结果就差不多了(个人认为,如果得到文本完全一样,感觉这模型就没啥意思了,表达的意思相近才是最重要的)。

图片
【小结】
    本文是利用ollama工具进行模型部署的,和官方部署环境有些差异,但无关紧要。运行模型才是最终要的,毕竟模型才是大脑。小伙伴在部署的时候一定要根据自己的实际情况部署,并进行测试,效果刚刚的。
来源:Python知识驿站
THE END