.NET8 qwen2大语言模型

PrintY / 2024-08-28 / 原文

前言

dotnet8项目接入qwen大模型，这个主要用到了大模型管理工具叫做 ollama 有了它，接入大模型so easy。使用ollama可以接入很多大模型，详见：https://ollama.com/library

环境

vs2022 preview
dotent8
Windows 10 企业版

1、下载ollama

https://github.com/ollama/ollama

安装完成以后，默认启动，可以看到任务栏有个羊驼

2、运行qwen

https://ollama.com/library/qwen2

打开cmd，运行命令行

# 下载qwen大模型，这里下载0.5b
ollama pull qwen2:0.5b
# 运行qwen大模型
ollama run qwen2:0.5b

下载完成的model在电脑中的存储位置：C:\Users\qinglin.yang\.ollama

成功运行后，就可以在控制台与其对话。

3、项目接入

1. NuGet安装OllamaSharp

https://github.com/awaescher/OllamaSharp

2. 上代码

我是在webapi项目中测试的，这个根据自己需求来吧~ 这个很简单~ 看下github上教程就行。

然后在控制台对话~

4、WebUI

如果自己玩，想要个UI界面，也是有现成的。自己去Github看下启动下就行，很简单。

https://github.com/ollama-webui/ollama-webui-lite

5、本地微调

参考：

https://github.com/v3ucn/Unsloth-Windows-fineTuning-Qwen2?tab=readme-ov-file

https://blog.csdn.net/python122_/article/details/140945620

1. 安装anaconda

https://www.anaconda.com/download/success

2、安装依赖

# 创建新的环境
conda create -n PY3.12 python=3.12
# 激活环境
conda activate PY3.12
# 安装依赖
pip install transformers datasets peft accelerate modelscope swanlab

安装过程需要少等会~~~