前言

前段时间在网上看到了一些关于本地化部署大模型的一些视频，感觉挺有意思的，想着自己有个服务器，不用白不用，趁着休息时间，在自己服务器部署了一个大模型，虽然记录的是在Linux系统下安装，但有些方法也适用于Windows/MacOS系统（下载软件包后无脑下一步就好了，这里后面会简单讲一下，不会特意去说）这篇博文记录一下部署时遇到的坑，如果你和我一样，请一定别忘了在你的云服务器上面放行所用到的端口(共用到三个端口：11434、8080、3000)，其中3000和8080必须放开，11434可自行开放端口，Tip:下载的模型对配置要求比较高，如果电脑配置较低，请安装较小的模型（较小的模型运行可能会慢，但大的是完全运行不了的）

安装ollama

下载ollama

1. 在ollama官网下载对应的安装包，如果是Windows/MacOS系统，直接点击对应的图标，进行下载软件包，无脑下一步就好，这里因为我的服务器是Linux系统，所以我以Linux为例，运行下面命令，如下图，复制安装命令

   curl -fsSL https://ollama.com/install.sh | sh
   

   

2. 在Linux粘贴官网复制的命令并在终端运行，等待下载完成，如下图（我这里是用宝塔内的终端，因为懒得使用命令安装docker，直接在宝塔可视化安装了，比较省事）
   出现下图所示，表示已经安装好了，并且 默认的127.0.0.1:11434就是ollama的api的地址，可以根据这个地址来访问对应的api
   

修改ollama配置文件

在/etc/systemd/system/ollama.service文件中添加配置信息如下：

Environment="OLLAMA_HOST=0.0.0.0"

注意：双引号一定要是英文下的"",我这里用了中文的引号，导致找了半天错误

ollama其他常用命令

关于ollama其他常用的命令如下：

ollama list # 查看已安装的模型列表
ollama rm modelsName # 卸载已经安装的模型 提示deleted 'modelsName'则表示删除成功
ollama serve # 启动ollama
ollama run modelsName # 安装的模型
# 卸载ollama相关命令 如果权限不够，则必须在前面加上sudo
#删除ollama服务：
sudo systemctl stop ollama
sudo systemctl disable ollama
sudo rm /etc/systemd/system/ollama.service
# 从bin目录（/usr/local/bin、/usr/bin或/bin）中删除ollama二进制文件：
sudo rm $(which ollama)
# 删除下载的模型和Ollama服务用户和组：
sudo rm -r /usr/share/ollama
sudo userdel ollama
sudo groupdel ollama

安装模型

下载模型

在ollama右上角的models查找自己适用的ollama模型，这一步也可以先跳过，直接跳到第四步，Tip:下载的模型对配置要求比较高，如果电脑配置较低，请安装较小的模型（较小的模型回答的速度可能会慢，但大的是完全运行不了的）我这边因为服务器配置较低，就以阿里云的通义千问中比较小的qwen2:1.5b来演示，命令如下

ollama run qwen2:1.5b

下载成功

当出现success后就说明已经安装好了，如下图，就可以在终端进行简单的提问及回答，如下图

下载失败

如果不仅出现了success，还出现了类似Error: model requires more system memory (5.1 GiB) than is available (2.4 GiB)的报错，那么就说明你下载的模型在你当前的电脑运行不起来，如下如所示，报错大概就是说这个模型最少要有5.1G的运行内存，但我的电脑只有2G的运行内存可以使用

遇到这个提示也不用慌，将这个大的使用 ollama rm qwen2进行卸载，提示deleted 'qwen2'，则表示删除成功，重新在ollama模型中找到一个内存占用较少的模型进行下载就好，直至和下载成功图中一样就代表安装的可以使用

安装docker

利用宝塔可视化安装docker

宝塔左侧默认会有decker，如果没有安装过docker，则会提示下载安装（或者点击软件商店进行搜索docker），点击安装后等待安装完成即可，我这边是已经安装过了，就不重复安装了

Linux安装docker

那么对于没安装宝塔的呢，因为我没有亲自用命令安装过，所以对它的一些命令及问题也不是特别清楚，不过可以根据 www.runoob.com来进行安装

Windows/Mac

对于Windows/Mac而言，安装docker同样简单，访问docker官网，点击download进行下载，无脑下一步就好

安装及配置Open Web UI

下载Open Web UI

访问open-webui的GitHub官方网站，并在.md文档中找到下图所框起来的地方，选择自己需要的安装方式，

默认就选择第一个，命令如下：

docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main

等待所有下载完成后即可访问，该过程会比较缓慢，请耐心等待，此步骤在Windows/Mac系统也是一样的，在对于的终端进行下载

Open Web UI相关配置

登录/注册

下载完成后，访问 localhost:3000，即可进入Open Web UI可视化的页面，如果是在服务器登录，则可访问 IP:3000，绑定域名后也可通过域名进行访问，如下图：

进行注册后就进行后续操作，第注册第一个用户默认为管理员账号，如果显示无法访问，则需要排查3000端口是否占用、云服务器端口是否放行。

管理员账号进行相关配置

与ollama建立连接

创建API密钥

点击左下角头像中设置创建API密钥并复制下来

设置外部链接

点击左下角头像中管理员面板，并点击外部链接进行配置，如下图，添加https://api.freegpt.art/v1 并且密钥为刚刚创建的密钥，它默认是openai的api，这个可以忽略，直接删掉。

添加后就可以选择之前安装的模型，进行对话了，如果没有安装模型的，则可以直接搜索模型，它会下载模型，

通用配置

是否允许其他人注册

在这里可以设置是否允许其他人注册，并且注册默认的角色是什么

默认使用的模型

在这里可以设置默认使用的模型，这样其他人登录后默认就是设置的模型

删除/添加模型

这里可以对模型添加或删除

用户操作

在管理员面板中的仪表盘，可以对注册用户进行修改和删除的操作，登录页面是没有修改密码操作的，可以在这个页面进行相关操作