Ollama 服务 默认的地址是 localhost(127.0.0.1),只能本地服务使用,但 ollama 通过使用环境变量来改变默认地址
1.在Windows上设置环境变量
在Windows上,Ollama继承了您的用户和系统环境变量。
- 首先通过任务栏点击Ollama退出程序
- 从控制面板编辑系统环境变量
- 为您的用户账户编辑或新建变量,比如
OLLAMA_HOST
、OLLAMA_MODELS
等。 - 点击OK/应用保存
- 在一个新的终端窗口运行
ollama
1 2 |
OLLAMA_ORIGINS=* OLLAMA_HOST=0.0.0.0 |
这样别的IP就可以访问 ollama 的服务了。
临时设置变量,可以这样
1 |
set OLLAMA_HOST=http://地址或域名:11434 |
2. 在Linux上设置环境变量
如果Ollama作为systemd服务运行,应该使用systemctl
设置环境变量:
- 通过调用
systemctl edit ollama.service
编辑systemd服务。这将打开一个编辑器。 - 对于每个环境变量,在
[Service]
部分下添加一行Environment
:
1 2 |
[Service] Environment="OLLAMA_HOST=0.0.0.0" |
临时设置变量,可以这样
1 |
export OLLAMA_HOST=http://地址或域名:11434 |
3. 在Mac上设置环境变量
通过调用launchctl setenv
设置环境变量:
1 |
launchctl setenv OLLAMA_HOST "0.0.0.0" |
4. 所有参数
OLLAMA_HOST:这个变量定义了Ollama监听的网络接口。通过设置OLLAMA_HOST=0.0.0.0,我们可以让Ollama监听所有可用的网络接口,从而允许外部网络访问。
OLLAMA_MODELS:这个变量指定了模型镜像的存储路径。通过设置OLLAMA_MODELS=F:\OllamaCache,我们可以将模型镜像存储在E盘,避免C盘空间不足的问题。
OLLAMA_KEEP_ALIVE:这个变量控制模型在内存中的存活时间。设置OLLAMA_KEEP_ALIVE=24h可以让模型在内存中保持24小时,提高访问速度。
OLLAMA_PORT:这个变量允许我们更改Ollama的默认端口。例如,设置OLLAMA_PORT=8080可以将服务端口从默认的11434更改为8080。
OLLAMA_NUM_PARALLEL:这个变量决定了Ollama可以同时处理的用户请求数量。设置OLLAMA_NUM_PARALLEL=4可以让Ollama同时处理两个并发请求。
OLLAMA_MAX_LOADED_MODELS:这个变量限制了Ollama可以同时加载的模型数量。设置OLLAMA_MAX_LOADED_MODELS=4可以确保系统资源得到合理分配。