1.前言

最近，深度求索公司将AI模型权重开源并免费提供出来，对行业带来很大冲击，DeepSeek可谓出尽风头，在公司里，老板同事们讨论工作时频繁提及，朋友间聚会聊天也总绕不开它。身为对新技术满怀热忱的技术爱好者，面对这股热潮，我自然按捺不住，必须深入探究一番

2.安装ollama

https://ollama.com

Ollama 是一个本地运行的大语言模型（LLM）工具平台，允许用户在本地设备上运行和管理大模型，而无需依赖云服务。它支持多种开源模型，并提供了用户友好的接口，非常适合开发者和企业使用，支持包括 Linux、macOS 和 Windows 在内的主流操作系统。以下以 Linux 系统（Debian为例）进行安装演示：

• 安装

  hushow@hushow-pc:~$ curl -fsSL https://ollama.com/install.sh | sh
  >>> Installing ollama to /usr/local
  请输入密码
  验证成功
  >>> Downloading Linux amd64 bundle
  ######################################################################## 100.0%
  >>> Creating ollama user...
  >>> Adding ollama user to render group...
  >>> Adding ollama user to video group...
  >>> Adding current user to ollama group...
  >>> Creating ollama systemd service...
  >>> Enabling and starting ollama service...
  Created symlink /etc/systemd/system/default.target.wants/ollama.service → /etc/systemd/system/ollama.service.
  >>> The Ollama API is now available at 127.0.0.1:11434.
  >>> Install complete. Run "ollama" from the command line.
  WARNING: No NVIDIA/AMD GPU detected. Ollama will run in CPU-only mode.

若成功安装，可以通过浏览器访问http://localhost:11434/进行服务验证，若能正常打开页面，说明 Ollama 服务已成功运行。

• 命令介绍

  serve 启动 Ollama 服务
  create      从 Modelfile 创建一个模型
  show        查看模型详细信息
  run         运行一个模型
  stop        停止正在运行的模型
  pull        从注册表拉取一个模型
  push        将一个模型推送到注册表
  list        列出所有可用的模型
  ps          列出当前正在运行的模型
cp          复制一个模型
rm          删除一个模型
help        获取关于任何命令的帮助信息

2.DeepSeek 模型部署

（一）模型硬件要求

运行 DeepSeek 模型对硬件有一定要求，为了获得较好的使用体验，建议配置如下：

• 最低配置：16GB 内存 + 8GB 显存，能够满足模型基本运行，但在处理复杂任务时可能会稍显吃力。
• 推荐配置：32GB 内存 + 16GB 显存（RTX 3060 级别及以上显卡），可使模型在处理各类任务时更加流畅，响应速度更快。

（二）模型下载与加载

• 因pc笔记本配置不高，我选择小的7b模型尝试

  hushow@hushow-pc:~$ ollama run huihui_ai/deepseek-r1-abliterated:7b
  pulling manifest 
  pulling 8f8cd1682ca1... 100% ▕██████████████████████████████████████████████▏ 4.7 GB                         
  pulling 369ca498f347... 100% ▕██████████████████████████████████████████████▏  387 B                         
  pulling 6e4c38e1172f... 100% ▕██████████████████████████████████████████████▏ 1.1 KB                         
  pulling f4d24e9138dd... 100% ▕██████████████████████████████████████████████▏  148 B                         
  pulling 2da0cab69db3... 100% ▕██████████████████████████████████████████████▏  487 B                         
  verifying sha256 digest 
  writing manifest 
  success
  >>> Send a message (/? for help)

当看到 “>>> Send a message (/? for help)” 提示时，表明模型已成功下载并加载，可以开始与模型进行对话。由于模型文件较大，下载过程可能需要一些时间，请耐心等待

• 如果你的电脑显存更大，可以自由选择其他更大模型，下载命令如下（仅需使用其中一个即可）：

  7b模型的下载命令：
  ollama run huihui_ai/deepseek-r1-abliterated:7b
  8b模型的下载命令：
  ollama run huihui_ai/deepseek-r1-abliterated:8b
  14b模型的下载命令：
  ollama run huihui_ai/deepseek-r1-abliterated:14b
  32b模型的下载命令：
  ollama run huihui_ai/deepseek-r1-abliterated:32b
  70b模型的下载命令：
  ollama run huihui_ai/deepseek-r1-abliterated:70b

4.安装交互UI

• 4.1 默认控制台提问

>>> deepseek满血版硬件配置要求？
<think>

</think>

DeepSeek 灵动版的硬件配置要求如下：

1. **处理器（CPU）**：  
   - 至少需搭载 1.3 GHz 的 CPU。

2. **内存（RAM）**：  
   - 建议配备至少 4 GB 的 DDR4 内存，6 GB 可以满足大多数需求。

3. **存储（SSD 或 HDD）**：  
   - 建议使用 1 TB 的 SSD，支持双硬盘配置（SSD + HDD），总容量可扩展至 2 TB。

4. **主板（Motherboard）**：  
   - 必须支持 DeepSeek 灵动版的操作系统，并具备相应的扩展端口（如 USB 3.0、HDMI 等）。

5. **显卡（GPU）**：  
   - 至少需配备一枚独立显卡或 NPU，适用于深度学习任务。

6. **电源**：  
   - 需要一个 80+ 安全认证的 400W 或更高功率的电源。

7. **机箱**：  
   - 支持 ATX 总线的标准机箱即可。

8. **网络接口**：  
   - 至少需配备 10/100M 网络接口，支持 Wi-Fi 和蓝牙连接。

9. **电池（笔记本版）**：  
   - 如果是笔记本，建议配备至少 6 小时续航的电池。

• 4.2 chrom插件可视化工具
  使用Google Chrome或Microsoft Edge浏览器，点击此链接，安装浏览器插件，添加到拓展程序：
  https://chromewebstore.google.com/detail/page-assist-%E6%9C%AC%E5%9C%B0-ai-%E6%A8%A1%E5%9E%8B%E7%9A%84-web/jfgfiigpkhlkbnfnbobbkinehhfdhndo

知识库管理工具安装

如果基于deepseek来搭建知识库，能有序沉淀知识，实现快速检索、团队共享，辅助业务决策并复用知识，全面提升效率

RAGFlowj方案

https://ragflow.io

RAGFlow 是一款基于深度文档理解构建的开源 RAG（Retrieval-Augmented Generation）引擎。RAGFlow 可以为各种规模的企业及个人提供一套精简的 RAG 工作流程，结合大语言模型（LLM）针对用户各类不同的复杂格式数据提供可靠的问答以及有理有据的引用。它主要适用于需要动态生成内容且依赖外部知识库的场景，例如智能客服、文档生成、数据分析等。

• 硬件要求
  CPU ≥ 4 cores (x86);
  RAM ≥ 16 GB;Disk ≥ 50 GB;
  Docker ≥ 24.0.0 & Docker Compose ≥ v2.26.1

• 系统要求
  确保 vm.max_map_count 不小于 262144

查询vm.max_map_count
sysctl vm.max_map_count

如果小于262144,采用以下设置262144
sudo sysctl -w vm.max_map_count=262144

注：你的改动会在下次系统重启时被重置。如果希望做永久改动，还需要在 /etc/sysctl.conf 文件里把 vm.max_map_count 的值再相应更新一遍

• 克隆仓库

  $ git clone https://github.com/infiniflow/ragflow.git

• 启动
  进入 docker 文件夹，利用提前编译好的 Docker 镜像启动服务器

  $ cd ragflow
  $ docker compose -f docker/docker-compose-CN.yml up -d

  注：请在运行 docker compose 启动服务之前先更新 docker/.env 文件内的 RAGFLOW_IMAGE 变量。比如，你可以通过设置 RAGFLOW_IMAGE=infiniflow/ragflow:v0.16.0 来下载 RAGFlow 镜像的 v0.16.0 完整发行版。镜像比较大，需要留足磁盘空间，另外docker下载需要自备科学上网方式，否则有些镜像拉取不下来

• 查看服务启动日志

  docker logs -f ragflow-server

• 访问知识库界面
  http://127.0.0.1:80
  

首次使用需注册管理员帐号

• 配置大模型
  

配置模型报错，网络问题汇总：
1.如果ragflow在容器环境，ollama在宿主机

sudo docker exec -it ragflow-server bash
root@931f2c41f679:/ragflow# curl  http://host.docker.internal:11434/curl:
(7) Failed to connect to host.docker.internal port 11434 after 0 ms: Connection refused

检查ollama网格绑定配置

ollama默认是绑定在127.0.0.1端口

sudo netstat -tuln | grep 11434

或

ss -tuln | grep 11434

如果你看到是127.0.0.1:11434, 则需要将ollama绑定到0.0.0.0:11434,尝试~/.ollama/config.json和export OLLAMA_HOST="0.0.0.0:11434" 方案都不生效，最终发现只有本机默认的服务启动方式不生效，手动ollama serve生效

--停止服务
sudo systemctl stop ollama
--编辑服务启动配置
sudo vi /etc/systemd/system/ollama.service

服务启动问题journalctl 查看 systemd 服务日志

sudo journalctl -u ollama.service  # 查看完整日志
sudo journalctl -u ollama.service -f  # 实时跟踪最新日志
sudo journalctl -u ollama.service --since "5 minutes ago"  # 查看最近5分钟的日志

Dify方案

网上查阅教程发现Dify是一个不错的选择，以下基于Docker Compose 进行了部署：

• 拉取 Dify 源代码并准备环境：

  # 克隆Dify源代码至本地环境
  git clone https://github.com/langgenius/dify.git
  # 进入Dify源代码的Docker目录
  cd dify/docker
  # 复制环境配置文件
  cp.env.example.env

• 启动 Docker 容器（需提前安装 Docker）：

  docker compose up -d
  # 如果版本是Docker Compose V1，使用以下命令：
  # docker-compose up -d