【实践笔记01】本地部署DeepSeek-R1大模型

开源+免费=无敌，跟风学习deepseek，拥抱AI，玩起来~

一、开头

花了一天时间完成本地部署deepseek，总结出以下几个问题，写一篇笔记记录过程。

问题一：为什么不直接使用网页版DeepSeek?

• 假设：如果你希望AI能根据公司的数据来回答问题或给出方案，那么一般情况下都需要上传公司数据给在线大模型进行分析，这将会面临几个问题：

1. 数据隐私问题：联网使用大模型数据隐私性无法得到绝对保证;
2. 传文件的限制问题：网页版AI对于文件上传的数量、大小一般有限制并且通常需要付费;
3. 仅通过附件扩展上下文功能有限：每次在新对话中提问相关问题时，仍需要重新上传附件;不易修改删除对话中已有的附件;

问题二：本地部署DeepSeek有哪些优势?

• 隐私保护：通过对大模型(如DeepSeek)的本地部署解决隐私问题;
• 个性化知识库构建使用RAG技术(Retrieval-Auqmented Generation，检索增强生成)构建个人知识库，将敏感数据本地化处理。oi

问题三：为什么要使用RAG技术？RAG和模型微调的区别？

RAG(Retrieval-Augmented Generation)的原理:

1. 检索(Retrieval)：当用户提出问题时，系统会从外部的知识库中检索出与用户输入相关的内容。
2. 增强(Augmentation)：系统将检索到的信息与用户的输入结合，扩展模型的上下文。然后再传给生成模型(也就是Deepseek);
3. 生成模型基于增强后的输入生成最终的回答。由于这一回答参考了外部知识库中的内容生成(Generation)因此更加准确可读。

RAG和模型微调的区别？

• 微调:在已有的预训练模型基础上，再结合特定任务的数据集进一步对其进行训练，使得模型在这一领域中表现更好;(考试之前疯狂做模拟题)（缺点：训练成本高）
• RAG:在生成回答之前，通过信息检索从外部知识库中查找与问题相关的知识，增强生成过程中的信息来源，从而提升生成的质量和准确性。(考试的过程中看小抄)
• 共同点：都是为了赋予模型某个领域的特定知识，解决大模型的幻觉问题。（幻觉问题：可以理解为大模型不知道的东西胡说八道、乱编）

问题四：什么是Embedding？为什么需要“Embedding模型”？

RAG中检索(Retrieval)的详细过程:

1. 准备外部知识库:外部知识库可能来自本地的文件、搜索引擎结果、API等等。
2. 通过 Embedding (嵌入)模型，对知识库文件进行解析:Embedding 的主要作用是将自然语言转化为机器可以理解的高维向量，并且通过这一过程捕获到文本背后的语义信息(比如不同文本之间的相似度关系);
3. 通过 Embedding (嵌入)模型，对用户的提问进行处理:用户的输入同样会经过嵌入(Embedding)处理，生成一个高维向量。
4. 拿用户的提问去匹配本地知识库:使用这个用户输入生成的这个高纬向量，去查询知识库中相关的文档片段。在这个过程中，系统会利用某些相似度度量(如余弦相似度)去判断相似度。模型的分类:Chat模型、Embedding模型;

简而言之:Embedding模型是用来对你上传的附件进行解析的，将上传的附件转成大模型能理解的数据。

二、本地部署deepseek流程

部署的过程非常简单，但是如果不懂用科学的方式下载，这过程非常耗时间，多数时间都是在等下载。

1. 下载Ollama

下载地址：https://ollama.com/

直接打开官网下载的方式下载速度非常慢。这里有一个小技巧，复制链接用迅雷下载。

2. Ollama环境变量配置

3.下载Deepseek模型

根据电脑配置选择下载不同模型，我这边4060ti 16g+32g内存，这里选择下载14b模型。 cmd窗口，敲入命令，等待拉取模型。

ollama run deepseek-r1:14b

拉取过程比较慢，支持断点续传，速度过慢可以断开重新拉取。拉取完成，通过ollama list可以查看本地已下载模型。

敲入命令ollama run deepseek-r1:14b运行deepseek模型。

至此，本地部署大模型结束。

4.下载Page Assist浏览器插件

https://github.com/n4ze3m/page-assist

cmd窗口使用不太方便，这里推荐安装Page Assist 一个开源的浏览器扩展，可以给本地 AI 模型提供侧边栏和 Web UI。

5.API调用本地大模型

https://github.com/ollama/ollama/blob/main/docs/api.md

查看Ollama文档，可以通过api的方式直接调用本地大模型。

• 
  

• 
  

• 
  

• 
  

• 
  

curl http://localhost:11434/api/generate -d '{  "model": "deepseek-r1:14b",  "prompt": "你是谁",  "stream": false}'

用Apifox测试接口。

三、总结

• 搭建的过程对新手非常友好，DeepSeek的开源特性可以在其基础上进行二次开发，极大降低门槛和成本，还促进了AI技术的快速传播和应用。

• 本地部署更多的作用是保护敏感数据，并且可以个性化定制，比如搭建私人知识库。如果没有这个需求还是网页版效果更好，毕竟个人搭建高参数模型成本比较高。

• RagFlow搭建个人知识库流程放在下一篇笔记。