使用的是树莓派（raspberrypi）5，8G 内存
0. 直接下载，然后运行
|
1 2 3 4 5 6 7 8 |
sudo curl -L https://ollama.com/download/ollama-linux-arm64 -o /usr/bin/ollama sudo chmod +x /usr/bin/ollama sudo ollama serve #另起一个窗口，然后运行 ollama run llama3 |
参照 ollama/docs/linux.md at main · ollama/ollama (github.com)，做成服务
|
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 |
sudo useradd -r -s /bin/false -m -d /usr/share/ollama ollama cat /lib/systemd/system/ollama.service [Unit] Description=Ollama Service After=network-online.target [Service] ExecStart=/usr/bin/ollama serve User=ollama Group=ollama Restart=always RestartSec=3 [Install] WantedBy=default.target sudo systemctl daemon-reload sudo systemctl enable ollama sudo systemctl start ollama |
运行 llama3 模型
|
1 |
ollama run llama3 |
运行 phi3 模型
|
1 |
ollama run phi3 |
下面的内容是自己编译，需要 ollama， go
1. 准备树莓派(raspberrypi)5
安装好系统，可以通过ssh 远程连接，可以通过有线或是无线连接到互联网
2. 安装go
ollama 需要的环境
- cmake version 3.24 or higher
- go version 1.22 or higher
- gcc version 11.4.0 or higher
|
1 |
sudo apt-get install cmake gcc git |
需要到 All releases – The Go Programming Language 下载最新的go 版本
|
1 |
wget https://go.dev/dl/go1.22.2.linux-arm64.tar.gz |
后面还会自动下载 llama.cpp
|
1 |
https://github.com/ggerganov/llama.cpp |
然后解压
|
1 2 3 |
sudo tar -C /usr/local -xzf /home/tony/git/go1.22.2.linux-arm64.tar.gz export PATH=/usr/local/go/bin:$PATH |
3. 下载 ollama
|
1 |
git clone https://github.com/ollama/ollama |
4. 编译 ollama
|
1 2 3 |
cd ollama go generate ./... go build . |
如果执行上面涉及到下载 i/o timeout 的问题，可以使用下面的代理，重新执行
|
1 |
export GOPROXY=https://goproxy.cn,direct |
编译成功后，当前目录下会有 ollama 文件
|
1 2 3 |
tony@raspberrypi:~/git/ollama $ ls -l ollama -rwxr-xr-x 1 tony tony 32467192 Apr 25 10:51 ollama tony@raspberrypi:~/git/ollama $ |
5. 运行 ollama
|
1 |
./ollama |
6. 选择模型
可以去 llama3 (ollama.com) 下载你想测试的模型：
|
1 |
https://ollama.com/library/llama3 |
6. 测试模型 llama3
|
1 |
ollama run llama3 |
7. 测试模型 phi3
|
1 |
ollama run phi3 |
phi3 比 llama3 快一点