MCong’s Blog 👋🏼

前言 前段时间在网上看到了一些关于本地化部署大模型的一些视频，感觉挺有意思的，想着自己有个服务器，不用白不用，趁着休息时间，在自己服务器部署了一个大模型，虽然记录的是在Linux系统下安装，但有些方法也适用于Windows/MacOS系统（下载软件包后无脑下一步就好了，这里后面会简单讲一下，不会特意去说）这篇博文记录一下部署时遇到的坑，如果你和我一样，请一定别忘了在你的云服务器上面放行所用到的端口(共用到三个端口：11434、8080、3000)，其中3000和8080必须放开，11434可自行开放端口，Tip:下载的模型对配置要求比较高，如果电脑配置较低，请安装较小的模型（较小的模型运行可能会慢，但大的是完全运行不了的） 安装ollama 下载ollama 在ollama官网下载对应的安装包，如果是Windows/MacOS系统，直接点击对应的图标，进行下载软件包，无脑下一步就好，这里因为我的服务器是Linux系统，所以我以Linux为例，运行下面命令，如下图，复制安装命令 curl -fsSL https://ollama.com/install.sh | sh ....