ollama 支持使用 openai 的 python 的api 方法
首先需要安装 openai 的 python 库
|
1 |
pip install --upgrade openai |
代码如下：
|
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 |
from openai import OpenAI client = OpenAI( # This is the default and can be omitted #api_key=os.environ.get("OPENAI_API_KEY"), base_url="http://127.0.0.1:11434/v1", api_key = "ollama", ) response = client.chat.completions.create( #model="gpt-4o", # 使用合适的模型 model="llama3", # 使用合适的模型 messages=[ {"role": "system", "content": "你是一个有用的助手."}, {"role": "user", "content": "..."} ] ) print(response.choices[0].message.content) |
从代码里面看，只需把 ollama 的服务地址赋给 base_url 和修改 model 值为 ollama 已有的模型就可以。
如果使用 openai 的 base_url, 则不需要 base_url 赋值。