DeepSeek R1本地化部署+web端访问+个人知识库搭建与使用

DeepSeek R1 的本地化部署结合 Web 端访问和个人知识库搭建,能为你提供一个私有、安全且高效的 AI 助手。下面我将为你梳理一套可行的方案,内容综合了多个来源的信息,并会为你标注来源。


🖥️ 一、DeepSeek R1 本地化部署

本地部署主要有两种主流方式:​​Ollama​​(适合快速启动)和 ​​Docker​​(适合定制化需求)。

1. ​​通过 Ollama 部署​​ (最简方式)

Ollama 能简化模型的下载和管理,非常适合个人用户和开发者。

  • •​​安装 Ollama​​:访问 Ollama 官网,下载并安装对应你操作系统的版本(支持 Windows、macOS、Linux)。
  • •​​拉取并运行 DeepSeek-R1 模型​​:安装完成后,打开终端(命令提示符),执行以下命令来拉取和运行模型。模型版本可根据你的硬件选择(如 deepseek-r1:8b适用于 8GB 显存)。bash复制ollama run deepseek-r1
  • •​​验证安装​​:执行后,Ollama 会自动下载模型。完成后,尝试在命令行中输入“你好”,若得到回复则说明本地模型已成功运行。

2. ​​通过 Docker 部署​​ (适合熟悉容器的用户)

Docker 部署能提供更好的环境隔离和灵活性,也便于后续集成 Web 界面。

  • •​​安装 Docker​​:确保你的系统已安装 Docker。对于 Windows 用户,建议启用 WSL2 以获得更好性能。
  • •​​拉取 DeepSeek-R1 镜像并运行容器​​:docker pull deepseek/deepseek-r1:latest docker run -d --name deepseek-r1 -p 8080:8080 -v ./models:/app/models deepseek/deepseek-r1:latest此命令会启动容器,并将本地的 ./models目录挂载到容器内用于存放模型文件。
  • •​​关键参数优化​​:
    • •若使用 CPU,添加 --device cpu;若使用 GPU,则需安装 NVIDIA Docker 支持,并改用 --device cuda:0
    • •内存优化:添加 --quant 4bit参数可显著降低内存占用(降低约70%),添加 --mmap参数可启用内存映射减少加载开销。

3. ​​硬件与配置建议​

  • •​​硬件要求​​:
    • •​​最低配置​​:GPU(如 GTX 1080 8GB)、16GB 内存、20GB SSD 存储,可运行 7B 量化版。
    • •​​推荐配置​​:GPU(如 RTX 3090/4090 24GB)、32GB 内存、1TB NVMe SSD,可流畅运行 13B+ 模型。
  • •​​系统选择​​:Linux 系统(如 Ubuntu)通常能比 Windows 获得 10%~15% 的性能提升。

🌐 二、Web 端访问配置

让 DeepSeek R1 通过浏览器访问,能极大提升交互体验。主要有两种方式:

1. ​​通过 Chatbox AI 连接 Ollama​

Chatbox AI 是一款支持多种模型的开源客户端,提供友好的图形界面。

  • •​​下载与设置​​:访问 Chatbox AI 官网,启动网页版或下载桌面应用
  • •​​配置连接​​:
    1. 1.在 Chatbox 设置中,将“模型提供方”选为 “Ollama API”。
    2. 2.在“模型”中选择你本地通过 Ollama 运行的 DeepSeek-R1 模型。
  • •​​环境变量配置(关键步骤)​​:为了让 Ollama 允许外部连接(如 Chatbox),需要在系统环境变量中设置:
    • OLLAMA_HOST=0.0.0.0
    • OLLAMA_ORIGINS=*设置完成后,​​务必重启 Ollama 服务或电脑​​使变量生效5。

2. ​​通过 Docker 部署 Open WebUI​

Open WebUI 是一个功能丰富的开源 Web 界面,支持通过 Docker 直接部署。

  • •​​部署命令​​:docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main
  • •​​访问与使用​​:部署完成后,在浏览器中访问 http://localhost:3000,首次进入需设置管理员账户,之后即可通过网页与你的 DeepSeek-R1 交互。

📚 三、个人知识库搭建与使用

本地部署的 DeepSeek R1 结合知识库,可以成为你的私人知识管家。

1. ​​搭建方法​

  • •​​使用 AnythingLLM(适合新手)​​:AnythingLLM 是一款开源知识库前端工具,对用户友好。
    1. 1.从 AnythingLLM 官网下载并安装。
    2. 2.在设置中配置模型,选择“Ollama”并提供你的 DeepSeek-R1 模型名称(如 deepseek-r1:8b)。
    3. 3.在知识库管理中,直接上传你的文档(支持 PDF, Word, TXT 等格式)。
  • •​​使用 DeepSeek R1 的本地 API 集成​​:如果你偏好编程方式,可以在应用中使用 DeepSeek R1 本地部署后提供的 API 端点(通常是 http://localhost:8080/v1/completions),结合 LangChain 等框架构建 RAG(检索增强生成)应用1,来处理你的私人文档。

2. ​​数据导入与优化​

  • •​​文档准备​​:将知识文档整理为 TXT、PDF、Word 或 MD 格式。单文件建议小于 50MB 以确保处理效率。
  • •​​处理与索引​​:上传后,系统(如 AnythingLLM)会自动进行解析、分块和向量化索引。
  • •​​优化检索​​:知识库工具通常允许调整块大小(Chunk Size)和重叠区间(Overlap)等参数,以优化检索效果。例如,可设置 chunk_size: 1000和 overlap: 200

3. ​​使用与查询​

在 Web 界面中,你可以直接向知识库提问。模型会优先从你上传的文档中检索相关信息来生成答案

11。你可以询问诸如“请总结我上传的《用户体验要素》这本书的核心观点”之类的问题。


💡 四、注意事项与优化建议

  1. 1.​​隐私与安全​​:本地部署的最大优势是数据完全私有,无需担心隐私泄露1。若需远程访问(如从外部网络连接家里的部署),​​务必使用内网穿透工具(如贝锐花生壳)并设置强密码或API密钥认证​​,以防未授权访问。
  2. 2.​​性能瓶颈​​:
    • •​​显存不足​​:是常见问题。尝试使用更低参数的模型(如 7B 替代 14B),或开启 4-bit 量化(--quant 4bit)。
    • •​​生成速度慢​​:确保模型尽可能运行在 GPU 而非 CPU 上。Linux 系统通常性能更优。
  3. 3.​​知识库维护​​:定期更新知识库内容,并保留历史版本。使用 Markdown 格式整理资料有助于提升文本识别和处理的准确率。
  4. 4.​​模型选择​​:DeepSeek-R1 提供从 1.5B 到 671B 的多种版本。对大多数个人用户,​​7B或8B的量化版本在效果和资源消耗间取得了较好平衡​​。企业级应用可考虑更大参数模型。


Ollama PC本地化部署

1.1 下载Ollama

https://ollama.com

目前Ollama支持macOS、Linux、Windows,选择相应的系统,macOS和Windows直接下载,Linux系统需要执行下面命令:

curl -fsSL https://ollama.com/install.sh | sh

 

DeepSeek R1本地化部署+web端访问+个人知识库搭建与使用

 

 

选择Windows本地下载,直接安装即可。

1.2 选择模型

点击Models,第一条就是deepseek-r1模型。或者搜索框输入模型名称进行搜索。

DeepSeek R1本地化部署+web端访问+个人知识库搭建与使用

点击进去后,查看各个模型,不同模型执行的命令不同,最后部分看你选择的参数模型。

7b命令:ollama run deepseek-r1:7b

1.5b命令:ollama run deepseek-r1:1.5b

DeepSeek R1提供多个版本,参数量越大,模型通常越强大,但也需要更多的计算资源。

比如1.5B代表有15亿个参数。

具体选择哪一个看你硬件设备了。

DeepSeek R1本地化部署+web端访问+个人知识库搭建与使用

1.3 运行命令

荣姐用的电脑配置不高,选了1.5b。如果你配置高,可以选择更大的,毕竟越大效果越好。

DeepSeek R1本地化部署+web端访问+个人知识库搭建与使用

1.4 效果测试

当界面出现success显示安装成功。

输入你是谁,看到deepseek的回答。

DeepSeek R1本地化部署+web端访问+个人知识库搭建与使用

2 DeepSeek+Chatbox网页端

本地命令行使用还是不太直观,可以选择Chatbox进行网页端访问,提高可交互性。

Chatbox AI 是一款 AI 客户端应用和智能助手,支持众多先进的 AI 模型和 API,可在 Windows、MacOS、Android、iOS、Linux 和网页版上使用。

本地使用Ollama部署完成后,可以使用Chatbox进行调用。

根据官方文档给出的步骤进行配置

https://chatboxai.app/zh/help-center/connect-chatbox-remote-ollama-service-guide
DeepSeek R1本地化部署+web端访问+个人知识库搭建与使用

2.1 环境变量配置

默认情况下,Ollama 服务仅在本地运行,不对外提供服务。

要使 Ollama 服务能够对外提供服务,你需要设置以下两个环境变量:

OLLAMA_HOST:0.0.0.0

OLLAMA_ORIGINS:*

在 Windows 上,Ollama 会继承你的用户和系统环境变量。

1、通过任务栏退出 Ollama。

2、打开设置(Windows 11)或控制面板(Windows 10),并搜索“环境变量”。

3、点击编辑你账户的环境变量。

4、为你的用户账户编辑或创建新的变量 OLLAMA_HOST,值为 0.0.0.0; 为你的用户账户编辑或创建新的变量 OLLAMA_ORIGINS,值为 *。

DeepSeek R1本地化部署+web端访问+个人知识库搭建与使用
DeepSeek R1本地化部署+web端访问+个人知识库搭建与使用

5、点击确定/应用以保存设置。

DeepSeek R1本地化部署+web端访问+个人知识库搭建与使用

6、从 Windows 开始菜单启动 Ollama 应用程序。

2.2 chatbox设置

1、打开官网:https://chatboxai.app/zh,选择启动网页版。

DeepSeek R1本地化部署+web端访问+个人知识库搭建与使用

2、选择本地模型,如果找不到,点击左侧的设置按钮。

DeepSeek R1本地化部署+web端访问+个人知识库搭建与使用

3、选择Ollama API。

DeepSeek R1本地化部署+web端访问+个人知识库搭建与使用

4、选择模型,本地运行Ollama后会自动出现模型的选项,直接选择即可。

DeepSeek R1本地化部署+web端访问+个人知识库搭建与使用

5、点击DISPLAY,选择简体中文,点击保存按钮。

DeepSeek R1本地化部署+web端访问+个人知识库搭建与使用

6、在聊天窗口输入问题进行测试。

DeepSeek R1本地化部署+web端访问+个人知识库搭建与使用

2.3 搭配GPTs使用

1、点击左侧我的搭档

DeepSeek R1本地化部署+web端访问+个人知识库搭建与使用

2、选择一个你喜欢的应用,本示例选择夸夸机2.0

DeepSeek R1本地化部署+web端访问+个人知识库搭建与使用

3、随便输入一个场景,看看大模型的回答。比如自嘲、尴尬、夸张的场景,看看他怎么花样夸你。

DeepSeek R1本地化部署+web端访问+个人知识库搭建与使用

3 DeepSeek知识库搭建

我们还可以通过浏览器插件来访问本地部署的大模型,这个插件还支持本地知识库搭建。

1、安装插件Page Assist,搜索插件后添加至Chrome

DeepSeek R1本地化部署+web端访问+个人知识库搭建与使用

2、选择本地搭建的模型,点击配置按钮,设置中文

 

DeepSeek R1本地化部署+web端访问+个人知识库搭建与使用

3、RAG设置,模型选择本地搭建的。

DeepSeek R1本地化部署+web端访问+个人知识库搭建与使用

4、点击左侧管理知识,可以添加本地知识库。

填写知识标题及上传文件,点击提交按钮。

DeepSeek R1本地化部署+web端访问+个人知识库搭建与使用

状态为已完成就可以使用了。

DeepSeek R1本地化部署+web端访问+个人知识库搭建与使用

新建聊天进行测试,在聊天窗口要记得点击右下角知识,选择刚才搭建的知识库名称,然后在上方看到就可以了。

对模型进行测试,看看是否可以根据知识库进行回答。

 

 

评论

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注