DeepSeek是一个强大的人工智能模型,广泛应用于自然语言处理、问答系统等领域。为了方便地在Linux服务器上部署DeepSeek模型并通过Web界面进行交互,本文将详细介绍如何通过Ollama在Linux服务器上安装和配置DeepSeek模型,并通过Web UI实现远程交互。
一、在Linux服务器上部署DeepSeek模型
1. 安装Ollama
Ollama是一个用于管理和运行AI模型的工具。我们可以通过它来安装并运行DeepSeek模型。
步骤 1:下载并安装Ollama
首先,我们需要在Linux服务器上安装Ollama。可以通过以下命令进行安装:
curl -sSfL https://ollama.com/download.sh | sh
安装完成后,您可以通过以下命令验证Ollama是否安装成功:
ollama --version
如果安装成功,会显示Ollama的版本信息。
步骤 2:下载并启动DeepSeek模型
接下来,使用以下命令来下载并启动DeepSeek R1 32B模型:
ollama run deepseek-r1:32b
这将启动DeepSeek R1 32B模型。如果需要使用其他版本的DeepSeek模型,可以选择相应的模型名称。不同的模型有不同的适用场景,具体请参考下表:
模型名称 |
参数量 |
基础架构 |
适用场景 |
DeepSeek-R1-Distill-Qwen-1.5B |
1.5B |
Qwen2.5 |
适合移动设备或资源受限的终端 |
DeepSeek-R1-Distill-Qwen-7B |
7B |
Qwen2.5 |
适合普通文本生成工具 |
DeepSeek-R1-Distill-Llama-8B |
8B |
Llama3.1 |
适合小型企业日常文本处理 |
DeepSeek-R1-Distill-Qwen-14B |
14B |
Qwen2.5 |
适合桌面级应用 |
DeepSeek-R1-Distill-Qwen-32B |
32B |
Qwen2.5 |
适合专业领域知识问答系统 |
DeepSeek-R1-Distill-Llama-70B |
70B |
Llama3.3 |
适合科研、学术研究等高要求场景 |
例如,DeepSeek R1 32B模型适合需要高推理能力但硬件资源有限的专业领域应用。
2. 配置Ollama服务
为了能够在远程设备上访问Ollama服务,我们需要在Linux服务器上进行配置。
步骤 1:设置Ollama服务配置
编辑Ollama的服务配置文件,使其能够监听所有网络接口,从而允许远程访问。使用以下命令编辑配置文件:
sudo vi /etc/systemd/system/ollama.service
在文件中添加如下内容:
[Unit] Description=Ollama Service After=network-online.target [Service] ExecStart=/usr/local/bin/ollama serve User=ollama Group=ollama Restart=always RestartSec=3 Environment="OLLAMA_HOST=0.0.0.0" Environment="PATH=/usr/local/cuda/bin:/home/bytedance/miniconda3/bin:/home/bytedance/miniconda3/condabin:/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/sbin:/bin:/usr/games:/usr/local/games:/snap/bin" [Install] WantedBy=default.target
步骤 2:重新加载并启动Ollama服务
执行以下命令重新加载服务配置并启动Ollama服务:
sudo systemctl daemon-reload sudo systemctl restart ollama
步骤 3:验证服务是否正常运行
使用以下命令验证Ollama服务是否正常运行,并监听所有网络接口:
sudo netstat -tulpn | grep ollama
如果输出中显示 0.0.0.0:11434,则表示Ollama服务正在监听所有网络接口。
步骤 4:配置防火墙
为了确保外部设备可以访问Ollama服务,您需要配置防火墙以允许通过端口11434的流量:
sudo ufw allow 11434/tcp sudo ufw reload
步骤 5:测试远程访问
在远程设备上,通过以下命令测试是否可以访问Ollama服务:
curl http://<server_ip>:11434/api/version
如果配置正确,您将看到类似如下的版本信息:
{"version":"0.5.7"}
二、在Mac上安装Web UI进行远程交互
为了更方便地与Linux服务器上的DeepSeek模型进行交互,您可以在Mac上安装一个Web UI工具。我们推荐使用 Open Web UI,它支持多种AI模型,包括Ollama。
1. 安装Open Web UI
首先,在Mac上创建一个新的conda环境,并安装Open Web UI:
conda create -n open-webui-env python=3.11 conda activate open-webui-env pip install open-webui
2. 启动Open Web UI
在终端中启动Open Web UI:
open-webui serve
3. 配置Web UI连接Ollama服务
打开浏览器并访问:
http://localhost:8080/
在Web界面中,您需要进行一些配置,使其能够连接到远程的Ollama服务。具体步骤如下:
- 点击左上角的三道杠,展开左侧栏。
- 选择“头像”进入管理员面板。
- 在管理员面板中,点击“设置”选项。
- 在“外部连接”部分,启用Ollama API,并在栏中填写远程服务器的地址,例如 http://10.70.83.38:11434。
- 保存设置后,点击“新对话”,确保模型列表正确加载。
如果一切顺利,您就可以通过Web UI与远程服务器上的DeepSeek模型进行交互了。
三、总结
通过本文的步骤,您已经成功在Linux服务器上安装并部署了DeepSeek模型,并且通过配置Ollama服务使得可以远程访问该模型。此外,您还学会了如何在Mac上安装Open Web UI,并通过它与远程模型进行便捷交互。这样,您就可以轻松地利用DeepSeek模型的强大能力进行各种自然语言处理任务了。 |