本地部署 DeepSeek-R1 模型

2025-03-01 by dongnan

开始之前

最近被 DeepSeek-R1 刷屏，作为IT从业者咱也不能落伍，立刻在手机上下载 DeepSeek 开始体验，提出的问题回答的和 ChatGPT 不相上下，让人惊叹！

不过由于 DeepSeek 太火爆，APP连接后端服务器总时超时，既然是开源的 LLM (Large Language Model) 那么是不是可以尝试本地部署 DeepSeek-R1 模型。

环境描述

Ollama: v0.5.11
deepseek-r1:14b
Chatbox: v1.9.7

测试平台

CPU: i7-11700K
内存: 32.0 GB
显卡: NVIDIA GeForce RTX 3070
磁盘: 1TB SSD
系统: Windows 11

一些名词

什么是 LLM ?

大型语言模型, Large Language Model 的英文缩写。

例如，ChatGPT、LLaMA、Qwen、DeepSeek、Gemma 等它们都是 LLM。

LLM 的参数代表什么？

例如 deepseek-r1:14b 数字后面的 "B" 代表的是参数（Parameters）的数量级，B = Billion（十亿）。

14B = 14 Billion = 140 亿参数
670B = 670 Billion = 6700 亿参数

参数（Parameters）是神经网络中的权重（Weights）和偏置（Bias），它们决定了模型的学习能力和表达能力。参数越多，模型通常越强大，可以学习更复杂的模式，但也需要更多的计算资源进行训练和推理。

为什么GPU更重要？

这是因为 GPU 在并行计算和矩阵运算方面的强大性能，它能极大加速深度学习训练和推理。

什么是Ollama？

Ollama 是一个开源工具，旨在简化大型语言模型的本地部署和操作。它由活跃的社区维护并定期更新，提供了一个轻量且易于扩展的框架，使开发人员能够轻松地在本地机器上构建和管理LLMs。这消除了复杂的配置或依赖外部服务器的需要，使其成为各种应用的理想选择。

什么是 Chatbox AI？

Chatbox AI 是一款人工智能客户端应用和智能助手。兼容多种前沿的人工智能模型和 API。支持 Windows、MacOS、Android、iOS、Web 和 Linux 平台。

可以简单理解为 LLM 的 UI客户端工具。

什么是 AnythingLLM？

AnythingLLM 是一个开源的企业级文档聊天机器人解决方案，由 Mintplex Labs Inc. 开发。它支持多种文档格式（如 PDF、TXT、DOCX 等），并能将文档内容转化为大语言模型（LLM）可理解的上下文信息，从而实现智能对话。

操作步骤

安装 Ollama 框架

首先，访问 Ollama网站并下载安装包，双击安装包，全程点击 “下一步”，直到安装结束。

安装完成后，按Win+R输入cmd打开命令行，输入以下命令验证：

$ ollama -v
ollama version is 0.5.11

部署 DeepSeek-R1 模型

首先，根据硬件实际情况选择不同参数版本，我这里选择的是 14B ，其它参数可以参考这里

安装模型

$ ollama run deepseek-r1:14b

注意：14b 参数的版本，文件为9GB，需要耐心等待下载完成。

运行模型

$ ollama run deepseek-r1:14b

默认命令行交互

>>> 你是谁？
<think>

</think>

您好！我是由中国的深度求索（DeepSeek）公司开发的智能助手DeepSeek-R1。如您有任何任何问题，我会尽我所能为您提供帮助。

>>> /bye

可视化UI

命令行方式与 deepseek 交互，对大部分人来说都是个麻烦事情，有多种软件提供UI界面代替命令行，方便操作，例如： Chatbox

首先，安装该软件

访问 Chatbox网站并下载安装包，双击安装包，全程点击 “下一步”，直到安装结束。

然后，配置模型

打开 Chatbox -> 设置 -> 模型
模型提供方 -> 选择 OLLAMAAPI 将自动填写 API地址
模型选择 deepseek-r1:14b
点击保存。

开始对话

注意：GPU性能

扩展

ollama 命令帮助信息

ollama

Usage:
  ollama [flags]
  ollama [command]

Available Commands:
  serve       Start ollama
  create      Create a model from a Modelfile
  show        Show information for a model
  run         Run a model
  stop        Stop a running model
  pull        Pull a model from a registry
  push        Push a model to a registry
  list        List models
  ps          List running models
  cp          Copy a model
  rm          Remove a model
  help        Help about any command

接下来会记录 deepseek 在实际中环境有哪些场景，例如金融、编程等场景。