基于 ollama 下载,部署AI 大模型 提供API 服务

lshan / 2024-09-21 / 原文

1. 下载 ollama    https://ollama.com/    

2. 安装完成后,没有操作界面(只能CLI)

3.  检测 安装是否成功 ollama --version

4.常用命令: ollama help

修改默认模型下载位置:

‌概述‌:Ollama默认将模型保存在‌C盘(‌Windows)、~/.ollama/models(‌MacOS)或/usr/share/ollama/.ollama/models(‌Linux)。
为了解决C盘空间不足的问题,可以通过设置环境变量OLLAMA_MODELS来修改模型存储位置。 ‌Windows系统‌:(系统变量) 设置环境变量OLLAMA_MODES,例如E:\ollama\models。 重启Ollama或PowerShell,使设置生效。 ‌MacOS系统‌: 通过设置环境变量OLLAMA_MODELS,例如
~/ollama/models。 重启Ollama服务。 ‌Linux系统‌: 创建新目录并设置权限,例如sudo mkdir /path/to/ollama/models。 编辑ollama.service文件,添加环境变量OLLAMA_MODELS。 重启ollama服务。

 

 

5.下载模型: https://ollama.com/library

命令 :

ollama run    llama3.1

完成后即可问答了

 

6.  运行模型提供API

6.1 安装代理服务:

创建新的虚拟环境
python -m venv  D:/ollama
激活环境:
ollama/Scripts/active.bat
(ollama)>  pip install litellm  
              pip install litellm[proxy]
(提供代理服务)

 

6.2 运行模型,提供服务:

litellm --model  ollama/llama3.1