利用ollama、open Web UI、docker在宝塔(Linux)部署本地化部署大模型

前言

前段时间在网上看到了一些关于本地化部署大模型的一些视频,感觉挺有意思的,想着自己有个服务器,不用白不用,趁着休息时间,在自己服务器部署了一个大模型,虽然记录的是在Linux系统下安装,但有些方法也适用于Windows/MacOS系统(下载软件包后无脑下一步就好了,这里后面会简单讲一下,不会特意去说)这篇博文记录一下部署时遇到的坑,如果你和我一样,请一定别忘了在你的云服务器上面放行所用到的端口(共用到三个端口:11434、8080、3000),其中3000和8080必须放开,11434可自行开放端口,Tip:下载的模型对配置要求比较高,如果电脑配置较低,请安装较小的模型(较小的模型运行可能会慢,但大的是完全运行不了的)

安装ollama

下载ollama

  1. ollama官网下载对应的安装包,如果是Windows/MacOS系统,直接点击对应的图标,进行下载软件包,无脑下一步就好,这里因为我的服务器是Linux系统,所以我以Linux为例,运行下面命令,如下图,复制安装命令

    curl -fsSL https://ollama.com/install.sh | sh
    

  2. 在Linux粘贴官网复制的命令并在终端运行,等待下载完成,如下图(我这里是用宝塔内的终端,因为懒得使用命令安装docker,直接在宝塔可视化安装了,比较省事)
    出现下图所示,表示已经安装好了,并且 默认的127.0.0.1:11434就是ollama的api的地址,可以根据这个地址来访问对应的api

修改ollama配置文件

在/etc/systemd/system/ollama.service文件中添加配置信息如下:

Environment="OLLAMA_HOST=0.0.0.0"

注意:双引号一定要是英文下的"",我这里用了中文的引号,导致找了半天错误

ollama其他常用命令

关于ollama其他常用的命令如下:

ollama list # 查看已安装的模型列表
ollama rm modelsName # 卸载已经安装的模型 提示deleted 'modelsName'则表示删除成功
ollama serve # 启动ollama
ollama run modelsName # 安装的模型
# 卸载ollama相关命令 如果权限不够,则必须在前面加上sudo
#删除ollama服务:
sudo systemctl stop ollama
sudo systemctl disable ollama
sudo rm /etc/systemd/system/ollama.service
# 从bin目录(/usr/local/bin、/usr/bin或/bin)中删除ollama二进制文件:
sudo rm $(which ollama)
# 删除下载的模型和Ollama服务用户和组:
sudo rm -r /usr/share/ollama
sudo userdel ollama
sudo groupdel ollama

安装模型

下载模型

ollama右上角的models查找自己适用的ollama模型,这一步也可以先跳过,直接跳到第四步,Tip:下载的模型对配置要求比较高,如果电脑配置较低,请安装较小的模型(较小的模型回答的速度可能会慢,但大的是完全运行不了的)我这边因为服务器配置较低,就以阿里云的通义千问中比较小的qwen2:1.5b来演示,命令如下

ollama run qwen2:1.5b

下载成功

当出现success后就说明已经安装好了,如下图,就可以在终端进行简单的提问及回答,如下图

下载失败

如果不仅出现了success,还出现了类似Error: model requires more system memory (5.1 GiB) than is available (2.4 GiB)的报错,那么就说明你下载的模型在你当前的电脑运行不起来,如下如所示,报错大概就是说这个模型最少要有5.1G的运行内存,但我的电脑只有2G的运行内存可以使用

遇到这个提示也不用慌,将这个大的使用 ollama rm qwen2进行卸载,提示deleted 'qwen2',则表示删除成功,重新在ollama模型中找到一个内存占用较少的模型进行下载就好,直至和下载成功图中一样就代表安装的可以使用

安装docker

利用宝塔可视化安装docker

宝塔左侧默认会有decker,如果没有安装过docker,则会提示下载安装(或者点击软件商店进行搜索docker),点击安装后等待安装完成即可,我这边是已经安装过了,就不重复安装了

Linux安装docker

那么对于没安装宝塔的呢,因为我没有亲自用命令安装过,所以对它的一些命令及问题也不是特别清楚,不过可以根据 www.runoob.com来进行安装

Windows/Mac

对于Windows/Mac而言,安装docker同样简单,访问docker官网,点击download进行下载,无脑下一步就好

安装及配置Open Web UI

下载Open Web UI

访问open-webui的GitHub官方网站,并在.md文档中找到下图所框起来的地方,选择自己需要的安装方式,

默认就选择第一个,命令如下:

docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main

等待所有下载完成后即可访问,该过程会比较缓慢,请耐心等待,此步骤在Windows/Mac系统也是一样的,在对于的终端进行下载

Open Web UI相关配置

登录/注册

下载完成后,访问 localhost:3000,即可进入Open Web UI可视化的页面,如果是在服务器登录,则可访问 IP:3000,绑定域名后也可通过域名进行访问,如下图:

进行注册后就进行后续操作,第注册第一个用户默认为管理员账号,如果显示无法访问,则需要排查3000端口是否占用、云服务器端口是否放行。

管理员账号进行相关配置

与ollama建立连接
创建API密钥

点击左下角头像中设置创建API密钥并复制下来

设置外部链接

点击左下角头像中管理员面板,并点击外部链接进行配置,如下图,添加https://api.freegpt.art/v1 并且密钥为刚刚创建的密钥,它默认是openai的api,这个可以忽略,直接删掉。

添加后就可以选择之前安装的模型,进行对话了,如果没有安装模型的,则可以直接搜索模型,它会下载模型,

通用配置
是否允许其他人注册

在这里可以设置是否允许其他人注册,并且注册默认的角色是什么

默认使用的模型

在这里可以设置默认使用的模型,这样其他人登录后默认就是设置的模型

删除/添加模型

这里可以对模型添加或删除

用户操作

在管理员面板中的仪表盘,可以对注册用户进行修改和删除的操作,登录页面是没有修改密码操作的,可以在这个页面进行相关操作


标题:利用ollama、open Web UI、docker在宝塔(Linux)部署本地化部署大模型
作者:mcwu
地址:http://mcongblog.com/articles/2024/07/28/1722144664758.html

    评论
    0 评论
avatar

取消