Ollama 端口暴露

Ollama 服务 默认的地址是 localhost(127.0.0.1),只能本地服务使用,但 ollama 通过使用环境变量来改变默认地址

1.在Windows上设置环境变量

在Windows上,Ollama继承了您的用户和系统环境变量。

  1. 首先通过任务栏点击Ollama退出程序
  2. 从控制面板编辑系统环境变量
  3. 为您的用户账户编辑或新建变量,比如OLLAMA_HOSTOLLAMA_MODELS等。
  4. 点击OK/应用保存
  5. 在一个新的终端窗口运行ollama

这样别的IP就可以访问 ollama 的服务了。

临时设置变量,可以这样

2. 在Linux上设置环境变量

如果Ollama作为systemd服务运行,应该使用systemctl设置环境变量:

  1. 通过调用systemctl edit ollama.service编辑systemd服务。这将打开一个编辑器。
  2. 对于每个环境变量,在[Service]部分下添加一行Environment

临时设置变量,可以这样

3. 在Mac上设置环境变量

通过调用launchctl setenv设置环境变量:

4. 所有参数

OLLAMA_HOST:这个变量定义了Ollama监听的网络接口。通过设置OLLAMA_HOST=0.0.0.0,我们可以让Ollama监听所有可用的网络接口,从而允许外部网络访问。

OLLAMA_MODELS:这个变量指定了模型镜像的存储路径。通过设置OLLAMA_MODELS=F:\OllamaCache,我们可以将模型镜像存储在E盘,避免C盘空间不足的问题。

OLLAMA_KEEP_ALIVE:这个变量控制模型在内存中的存活时间。设置OLLAMA_KEEP_ALIVE=24h可以让模型在内存中保持24小时,提高访问速度。

OLLAMA_PORT:这个变量允许我们更改Ollama的默认端口。例如,设置OLLAMA_PORT=8080可以将服务端口从默认的11434更改为8080。

OLLAMA_NUM_PARALLEL:这个变量决定了Ollama可以同时处理的用户请求数量。设置OLLAMA_NUM_PARALLEL=4可以让Ollama同时处理两个并发请求。

OLLAMA_MAX_LOADED_MODELS:这个变量限制了Ollama可以同时加载的模型数量。设置OLLAMA_MAX_LOADED_MODELS=4可以确保系统资源得到合理分配。

发表评论

您的电子邮箱地址不会被公开。 必填项已用 * 标注

滚动至顶部