首页 > 编程开发 > C类语言

C#整合Ollama实现本地LLMs调用

来自：博客园
时间：2024-09-09
阅读：

前言

    近两年AIGC发展的非常迅速，从刚开始的只有ChatGPT到现在的很百家争鸣。从开始的大参数模型，再到后来的小参数模型，从一开始单一的文本模型到现在的多模态模型等等。随着一起进步的不仅仅是模型的多样化，还有模型的使用方式。大模型使用的门槛越来越低，甚至现在每个人都可以在自己的电脑上运行模型。今天我们要说的就是大模型工具中的佼佼者Ollama,并演示如何通过C#来使用Ollama。

Ollama

    Ollama是一个开源的大语言模型（LLM）服务工具，它允许用户在本地PC环境快速实验、管理和部署大型语言模型。它支持多种流行的开源大型语言模型，如 Llama 3.1、Phi 3、Qwen 2、GLM 4等，并且可以通过命令行界面轻松下载、运行和管理这些模型。Ollama的出现是为了降低使用大型语言模型的门槛，是让大型语言模型更加普及和易于访问。一言以蔽之就是Ollama让使用模型更简单。无论是CPU或是GPU都可以，算力高的话推理速度更快，算力不足的话推理的慢，而且容易胡言乱语。

安装

Ollama的安装方式常用的有两种，一种是去官网下载，另一种是去GitHub下载，可以选择对应的系统版本进行下载

我的是Windows操作系统，所以直接下载一路Next就可以，默认安装在C盘无法更改，强迫症的话可以通过mklink做链接，但是自动更新之后还是在C盘。自动升级这一块不用太担心，联网的情况，如果有新版本Ollama会推送更新。

安装完成之后可以修改常用的环境变量

  • 通过OLLAMA_MODELS环境变量设置模型下载的位置，默认是在C盘，可以换成其他地址。
  • 通过OLLAMA_HOST设置Ollama服务监听的端口，默认的是11434。

安装完成之后通过version查看，如果显示版本号则安装成功。

ollama --version

比较常用的指令不多，也很简单

  • ollama list列出本地下载的模型
  • ollama ps查看正在运行的模型
  • ollama pull 模型标识下载模型到本地，比如我要下载qwen2 7b则使用ollama pull qwen2:7b
  • ollama run 模型标识运行模型，如果已下载则直接运行，如果没下载则先下载再运行。比如我要运行qwen2 7b可以直接运行ollama run qwen2:7b

也可以将本地已有的GGUF模型导入到Ollama中去，操作也很简单。

  1. 编写一个名为Modelfile的文件，写入以下内容
FROM 模型路径/qwen2-0_5b-instruct-q8_0.gguf
  1. 通过Ollama创建模型
ollama create qwen2:0.5b -f Modelfile
  1. 运行刚创建的模型
ollama run qwen2:0.5b

需要注意的是运行7B至少需要8GB的内存或显存，运行13B至少需要16GB内存或显存。我电脑的配置信息如下

型号: 小新Pro16 AI元启
CPU: AMD Ryzen 7 8845H
内存: 32.0 GB

AMD Ryzen 7 8845H内置NPU，整体算力还可以, 运行运行13B及以下的模型没太大问题。当然这种级别参数大小的模型不会是一个无所不能的模型，这种量级的模型运行成本相对较低，适合做一些特定场景的推理任务。如果需要无所不能的模型建议还是直接使用ChatGPT这种商业模型。

命令启动

下载模型完成之后可以测试运行，通过cmd运行指令，比如我运行起来qwen2:7b模型
C#整合Ollama实现本地LLMs调用
这种方式比较简单，只能是文字对话的方式而且没有样式，简单粗暴。

接口访问

Ollama提供服务的本质还是http接口，我们可以通过http接口的方式来调用/api/generate接口

curl http://localhost:11434/api/generate -d '{
  "model": "qwen2:7b",
  "prompt": "请你告诉我你知道的天气有哪些？用json格式输出",
  "stream": false
}'
  • model设置模型的名称
  • prompt提示词
  • stream设置为false要求不要流式返回

因为是一次性返回所有内容，所以需要等待一会，如果需要流式输出可以设置为true。等待一会后接口返回的信息如下所示

{
    "model": "qwen2:7b",
    "created_at": "2024-09-04T06:13:53.1082355Z",
    "response": "```json\n{\n  \"常见天气\": [\n    {\n      \"类型\": \"晴\",\n      \"描述\": \"天空无云或有少量高薄云，日间阳光充足。\",\n      \"符号\": \"☀️\"\n    },\n    {\n      \"类型\": \"多云\",\n      \"描述\": \"大部分天空被云层覆盖，但能见蓝天，太阳时隐时现。\",\n      \"符号\": \"?️\"\n    },\n    {\n      \"类型\": \"阴天\",\n      \"描述\": \"全天或大部分时间云量较多，几乎看不到阳光，光线较暗。\",\n      \"符号\": \"☁️\"\n    },\n    {\n      \"类型\": \"雨\",\n      \"子类型\": [\n        {\n          \"类型\": \"小雨\",\n          \"描述\": \"降水量不大，通常不会形成积水。\",\n          \"符号\": \"?️\"\n        },\n        {\n          \"类型\": \"中雨\",\n          \"描述\": \"降水量适中，可能会有局部积水。\",\n          \"符号\": \"?️\"\n        },\n        {\n          \"类型\": \"大雨\",\n          \"描述\": \"降水量大，可能伴有雷电和强风。\",\n          \"符号\": \"⛈️\"\n        }\n      ]\n    },\n    {\n      \"类型\": \"雪\",\n      \"子类型\": [\n        {\n          \"类型\": \"小雪\",\n          \"描述\": \"积雪较轻，地面可能仅局部有薄雪覆盖。\",\n          \"符号\": \"❄️\"\n        },\n        {\n          \"类型\": \"中雪\",\n          \"描述\": \"降雪量中等，地面和部分植被可能有积雪。\",\n          \"符号\": \"?️\"\n        },\n        {\n          \"类型\": \"大雪\",\n          \"描述\": \"降雪量很大，地面积雪深厚，交通和生活受严重影响。\",\n          \"符号\": \"❄️?\"\n        }\n      ]\n    },\n    {\n      \"类型\": \"雾\",\n      \"描述\": \"大气中的水汽在地面或近地面凝结形成大量悬浮的微小水滴或冰晶的现象。\",\n      \"符号\": \"?️\"\n    },\n    {\n      \"类型\": \"雷阵雨\",\n      \"描述\": \"突然而短暂的强降雨伴有闪电和雷鸣，通常持续时间较短。\",\n      \"符号\": \"⚡?️\"\n    }\n  ]\n}\n```",
    "done": true,
    "done_reason": "stop",
    "context": [
        151644,
        872,
        198,
        //...省略...
        73594
    ],
    "total_duration": 70172634700,
    "load_duration": 22311300,
    "prompt_eval_count": 19,
    "prompt_eval_duration": 151255000,
    "eval_count": 495,
    "eval_duration": 69997676000
}

还有一种比较常用的操作就是大家比较关注的嵌入模型，通俗点就是对文本或者图片、视频等信息进行特征提取转换成向量的方式，这时候需要使用/api/embed接口,请求格式如下所示，这里使用的向量化模型是nomic-embed-text大家可以自行去用ollama pull这个模型

curl http://localhost:11434/api/embed -d '{
  "model": "nomic-embed-text:latest",
  "input": "我是中国人，我爱我的祖国"
}'

嵌入接口返回的数据格式如下所示

{
    "model": "nomic-embed-text:latest",
    "embeddings": [
        [
            0.012869273,
            0.015905218,
            -0.13998738,
            //...省略很多...
            -0.035138983,
            -0.03351391
        ]
    ],
    "total_duration": 619728100,
    "load_duration": 572422600,
    "prompt_eval_count": 12
}

当然Ollama提供的接口还有很多，比如对话、模型管理等待，这里我们就不一一介绍了，有需要的同学可以自行查阅接口文档地址https://github.com/ollama/ollama/blob/main/docs/api.md

可视化UI

上面我们提到了两种方式访问Ollama服务，一种是命令行的方式，另一种是接口的方式。这两种虽然方式原始，但是并没有界面操作显得直观，如果你想通过界面的方式通过Ollama完成对话服务，官方Github推荐的也比较多，有兴趣的同学可以自行查看文档https://github.com/ollama/ollama?tab=readme-ov-file#web--desktop，我选用的是第一个Open WebUI，简单的方式是通过Docker直接运行

docker run -d -p 3000:8080 -e OLLAMA_BASE_URL=https://你的ollama服务ip:11434 -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main

亦或者可以通过构建源码的方式构建启动，按照下面的命令一步一步来

  1. git clone https://github.com/open-webui/open-webui.git
  2. cd open-webui/
  3. cp -RPp .env.example .env（复制一份.env.example文件重命名为.env。Windows系统的话使用copy .env.example .env）
  4. npm install
  5. npm run build
  6. cd ./backend
  7. conda create --name open-webui-env python=3.11（用conda创建一个名为pen-webui-env的虚拟环境）
  8. conda activate open-webui-env（激活虚拟环境）
  9. pip install -r requirements.txt -U（安装python依赖）
  10. bash start.sh（ Windows操作系统的话直接启动start_windows）

如你所见，它是依赖NodeJs和Python的，还需要安装Conda

  • ? Node.js >= 20.10
  • ? Python >= 3.11
  • conda我用的是24.5.0

启动成功后，在浏览器上输入http://localhost:8080/,注册一个用户名登陆进来之后界面如下所示
C#整合Ollama实现本地LLMs调用
可以直接选择模型进行对话，类似ChatGPT那种对话风格。

C#整合Ollama

上面我们了解到了Ollama的基本安装和使用，明白了它的调用是基于Http接口来完成的。其实我也可以参考接口文档自行封装一套调用，但是没必要, 因为有很多现成的SDK可以直接使用。

使用Ollama Sdk

这里使用的C#的SDK就叫0llama，它的Github地址是https://github.com/tryAGI/Ollama, 为什么选择它呢，其实也很简单，因为它支持function call,这方便我们更早的体验新功能。安装它非常简单，相信同学们都会

dotnet add package Ollama --version 1.9.0
简单对话

简单的对话功能上手也没什么难度，都是简单代码

string modelName = "qwen2:7b";
using var ollama = new OllamaApiClient(baseUri: new Uri("http://127.0.0.1:11434/api"));

Console.WriteLine("开始对话！！！");
string userInput = "";
do
{
    Console.WriteLine("User:");
    userInput = Console.ReadLine()!;
    var enumerable = ollama.Completions.GenerateCompletionAsync(modelName, userInput);
    Console.WriteLine("Agent:");
    await foreach (var response in enumerable)
    {
        Console.Write($"{response.Response}");
    }
    Console.WriteLine();

} while (!string.Equals(userInput, "exit", StringComparison.OrdinalIgnoreCase));
Console.WriteLine("对话结束！！！");

模型名称是必须要传递的，而且默认的是流式输出,如果想一次返回同样的是设置stream为false。示例使用的是qwen2:7b模型。执行起来之后便可以直接对话，如下所示
C#整合Ollama实现本地LLMs调用
整体来说国产模型里面qwen2:7b整体的效果还是不错的，至少还不是扭曲事实。

多轮对话

如果需要进行分角色的多轮对话，要换一个方式使用，使用提供的Chat方式，如下所示

string modelName = "glm4:9b";
using var ollama = new OllamaApiClient(baseUri: new Uri("http://127.0.0.1:11434/api"));
Console.WriteLine("开始对话！！！");
string userInput = "";
List<Message> messages = [];
do
{
    //只取最新的五条消息
    messages = messages.TakeLast(5).ToList();
    Console.WriteLine("User:");
    userInput = Console.ReadLine()!;
    //加入用户消息
    messages.Add(new Message(MessageRole.User, userInput));
    var enumerable = ollama.Chat.GenerateChatCompletionAsync(modelName, messages, stream: true);
    Console.WriteLine("Agent:");
    StringBuilder builder = new();
    await foreach (var response in enumerable)
    {
        string content = response.Message.Content;
        builder.AppendLine(content);
        Console.Write(content);
    }
    //加入机器消息
    messages.Add(new Message(MessageRole.Assistant, builder.ToString()));
    Console.WriteLine();

} while (!string.Equals(userInput, "exit", StringComparison.OrdinalIgnoreCase));
Console.WriteLine("对话结束！！！");

这次换了另一个国产模型glm4:9b, 多轮对话和完全对话使用的对象不同。

  • 完全对话使用的是Completions对象，多轮对话使用的是Chat对象。
  • 多轮对话需要用List<Message>存储之前的对话记录，这里模型才能捕获上下文。

运行起来，执行效果如下所示
C#整合Ollama实现本地LLMs调用
第一次我问他会c#吗，它说了一堆表示会。第二句我让它写一个简单的示例，但是我并没有说写c#示例，但是它可以通过上面的对话了解到意图，所以直接用c#给我写了一个示例。

function call

高版本的Ollama支持function call，当然这也要求模型也必须支持，如果模型本身不支持，那也是没有效果的，其中llama3.1支持的比较好，美中不足是llama3.1对中文支持的不太好，所以我们简单的演示一下，这里使用的是llama3.1:8b模型，首先需要定义方法，这样和模型对话的时候，框架会把方法的元信息抽出来发给模型，让模型判断调用哪个，这里我简单定义了一个计算增删改查的接口，并实现这个接口。

//定义一个接口，提供元信息
[OllamaTools]
public interface IMathFunctions
{
    [Description("Add two numbers")]
    int Add(int a, int b);
    [Description("Subtract two numbers")]
    int Subtract(int a, int b);
    [Description("Multiply two numbers")]
    int Multiply(int a, int b);
    [Description("Divide two numbers")]
    int Divide(int a, int b);
}

//实现上面的接口提供具体的操作方法
public class MathService : IMathFunctions
{
    public int Add(int a, int b) => a + b;
    public int Subtract(int a, int b) => a - b;
    public int Multiply(int a, int b) => a * b;
    public int Divide(int a, int b) => a / b;
}

有了上面的接口和实现类之后，我们就可以通过Ollama使用它们了，使用方式如下

string modelName = "llama3.1:8b";
using var ollama = new OllamaApiClient(baseUri: new Uri("http://127.0.0.1:11434/api"));
var chat = ollama.Chat(
    model: modelName,
    systemMessage: "You are a helpful assistant.",
    autoCallTools: true);

//给Ollama注册刚才定义的类
var mathService = new MathService();
chat.AddToolService(mathService.AsTools(), mathService.AsCalls());

while (true)
{
    try
    {
        Console.WriteLine("User>");
        var newMessage = Console.ReadLine();
        var msg = await chat.SendAsync(newMessage);
        Console.WriteLine("Agent> " + msg.Content);
    }
    finally
    {
        //打印本次对话的所有消息
        Console.WriteLine(chat.PrintMessages());
    }
}

这里需要设置autoCallTools为true才能自动调用方法，PrintMessages()方法用来打印本轮会话中所有的消息, 一般自动调用function call的时候会产生多次请求，但是我们使用的时候是无感知的，因为框架已将帮我自动处理了，比如我的提示词是一个数学计算公式(12+8)*4/2=?，如下所所示
C#整合Ollama实现本地LLMs调用
通过PrintMessages()方法打印的对话消息可知，虽然我只提供了一句提示词，但是Ollama SDK因为支持自动调用工具，llama3.1:8b将提示词算式(12+8)*4/2)进行了拆分，计算步骤如下所示

  • 先拆分了括号里的逻辑12+8并调用Add方法得到结果20
  • 然后第二步用上一步得到的结果调用Multiply计算20*4得到80
  • 再用上一步的结果调用Divide计算80/2得到结果40
  • 最后把Tools调用的步骤及结果一起在通过对话发送给llama3.1模型，模型得到最终的输出

如果我们不打印过程日志的话，模型只会输出

Assistant:
The correct calculation is:
(12+8)=20
20*4=80
80/2=40
Therefore,the answer is:40.
嵌入模型

上面我们提到过Ollama不仅可以使用对话模型还可以使用嵌入模型的功能，嵌入模型简单的来说就是对文本、图片、语音等利用模型进行特征提起，得到向量数据的过程。通过Ollama SDK可以使用Ollama的嵌入功能，代码如下所示

 string modelName = "nomic-embed-text:latest";
 HttpClient client = new HttpClient();
 client.BaseAddress = new Uri("http://127.0.0.1:11434/api");
 client.Timeout = TimeSpan.FromSeconds(3000);
 using var ollama = new OllamaApiClient(client);
 var embeddingResp =  await ollama.Embeddings.GenerateEmbeddingAsync(modelName, "c#是一门不错的编程语言");
 Console.WriteLine($"[{string.Join(",", embeddingResp.Embedding!)}]");

得到的就是如下所示的向量信息
C#整合Ollama实现本地LLMs调用
向量数据是可以计算相似度的，利用余弦夹角的概念可以计算向量的空间距离，空间距离越近，两个向量的相似度便越高。如果大家了解颜色表RGB的话就比较容易理解，举个例子(255, 0, 0)就是纯红色，(255, 10, 10)也是红色，但是不是纯红色。如果把(255, 0, 0)和(255, 10, 10)映射到一个三维的空间坐标图上它们的距离就很近，但是它们和纯蓝色(0, 0, 255)的空间距离就很远，因为一个贴近X轴，一个贴近Z轴。现在大家锁熟知的向量数据库，大概采用的就是类似的原理。也是现在流行的RAG检索增强生成的基础。

比如我把下面两句话嵌入模型得到向量值，然后通过计算余弦夹角来比较它们的相似度

var embeddingResp =  await ollama.Embeddings.GenerateEmbeddingAsync(modelName, "c#是一门不错的编程语言");
var embeddingResp2 = await ollama.Embeddings.GenerateEmbeddingAsync(modelName, "c#是很好的语言");
Console.WriteLine("相似度：" + CosineSimilarity([.. embeddingResp.Embedding!], [.. embeddingResp2!.Embedding]));

//计算余弦夹角
public static double CosineSimilarity(double[] vector1, double[] vector2)
{
    if (vector1.Length != vector2.Length)
        throw new ArgumentException("向量长度必须相同");

    double dotProduct = 0.0;
    double magnitude1 = 0.0;
    double magnitude2 = 0.0;

    for (int i = 0; i < vector1.Length; i++)
    {
        dotProduct += vector1[i] * vector2[i];
        magnitude1 += vector1[i] * vector1[i];
        magnitude2 += vector2[i] * vector2[i];
    }

    magnitude1 = Math.Sqrt(magnitude1);
    magnitude2 = Math.Sqrt(magnitude2);

    if (magnitude1 == 0.0 || magnitude2 == 0.0)
        return 0.0; // 避免除以零

    return dotProduct / (magnitude1 * magnitude2);
}

上面的得到的相似度结果是

相似度：0.9413230998586363

因为它们两句话表达的含义差不多，所以相似度很高。但是如果我要计算下面的两句话的相似度

var embeddingResp =  await ollama.Embeddings.GenerateEmbeddingAsync(modelName, "c#是一门不错的编程语言");
var embeddingResp2 = await ollama.Embeddings.GenerateEmbeddingAsync(modelName, "我喜欢吃芒果和草莓");

那么利用余弦值计算出来它们的相似度只有0.59，因为这两句话几乎没有任何关联。

相似度：0.5948448463206064
多模态模型

刚开始的对话模型都比较单一，都是简单的文本对话，随着不断的升级，有些模型已经支持多种格式的输入输出而不仅仅是单一的文本，比如支持图片、视频、语音等等，这些模型被称为多模态模型。使用Ollama整合llava模型体验一把，这里我是用的是llava:13b。我在网上随便找了一张图片存放本地C#整合Ollama实现本地LLMs调用
用这张图片对模型进行提问，代码如下所示

HttpClient client = new HttpClient();
client.BaseAddress = new Uri("http://127.0.0.1:11434/api");
client.Timeout = TimeSpan.FromSeconds(3000);
using var ollama = new OllamaApiClient(client);
string modelName = "llava:13b";
string prompt = "What is in this picture?";
System.Drawing.Image image = System.Drawing.Image.FromFile("1120.jpg");
var enumerable = ollama.Completions.GenerateCompletionAsync(modelName, prompt, images: [BitmapToBase64(image)], stream: true);
await foreach (var response in enumerable)
{
    Console.Write($"{response.Response}");
}

//Image转base64
public static string BitmapToBase64(System.Drawing.Image bitmap)
{
    MemoryStream ms1 = new MemoryStream();
    bitmap.Save(ms1, System.Drawing.Imaging.ImageFormat.Jpeg);
    byte[] arr1 = new byte[ms1.Length];
    ms1.Position = 0;
    ms1.Read(arr1, 0, (int)ms1.Length);
    ms1.Close();
    return Convert.ToBase64String(arr1);
}

我用提示词让模型描述图片里面的内容，然后把这张图片转换成base64编码格式一起发送给模型，模型返回的内容如下所示
C#整合Ollama实现本地LLMs调用
确实够强大，描述的信息很准确，措词也相当不错，如果让人去描述图片中的内容，相信大部分人描述的也没这么好，不得不说模型越来越强大了。

使用SemanticKernel

除了整合Ollama SDK以外,你还可以用Semantic Kernel来整合Ollama，我们知道默认情况下Semantic Kernel只能使用OpenAI和Azure OpenAI的接口格式，但是其他模型接口并不一定和OpenAI接口格式做兼容，有时候甚至可以通过one-api这样的服务来适配一下。不过不用担心Ollama兼容了OpenAI接口的格式，即使不需要任何的适配服务也可以直接使用，我们只需要重新适配一下请求地址即可。

using HttpClient httpClient = new HttpClient(new RedirectingHandler());
httpClient.Timeout = TimeSpan.FromSeconds(120);

var kernelBuilder = Kernel.CreateBuilder()
    .AddOpenAIChatCompletion(
       modelId: "glm4:9b",
       apiKey: "ollama",
       httpClient: httpClient);
Kernel kernel = kernelBuilder.Build();

var chatCompletionService = kernel.GetRequiredService<IChatCompletionService>();
OpenAIPromptExecutionSettings openAIPromptExecutionSettings = new()
{
    ToolCallBehavior = ToolCallBehavior.AutoInvokeKernelFunctions
};

var history = new ChatHistory();
string? userInput;
do
{
    Console.Write("User > ");
    userInput = Console.ReadLine();
    history.AddUserMessage(userInput!);

    var result = chatCompletionService.GetStreamingChatMessageContentsAsync(
        history,
        executionSettings: openAIPromptExecutionSettings,
        kernel: kernel);
    string fullMessage = "";
    System.Console.Write("Assistant > ");
    await foreach (var content in result)
    {
        System.Console.Write(content.Content);
        fullMessage += content.Content;
    }
    System.Console.WriteLine();

    history.AddAssistantMessage(fullMessage);
} while (userInput is not null);


public class RedirectingHandler : HttpClientHandler
{
    protected override Task<HttpResponseMessage> SendAsync(
        HttpRequestMessage request, CancellationToken cancellationToken)
    {
        var uriBuilder = new UriBuilder(request.RequestUri!) { Scheme = "http", Host = "localhost", Port = 11434 };
        //对话模型
        if (request!.RequestUri!.PathAndQuery.Contains("v1/chat/completions"))
        {
            uriBuilder.Path = "/v1/chat/completions";
            request.RequestUri = uriBuilder.Uri;
        }
        //嵌入模型
        if (request!.RequestUri!.PathAndQuery.Contains("v1/embeddings"))
        {
            uriBuilder.Path = "/v1/embeddings";
            request.RequestUri = uriBuilder.Uri;
        }            
        return base.SendAsync(request, cancellationToken);
    }
}

这里我们使用的是国产模型glm4:9b,需要注意的是因为这里我们使用的是本地服务，所以需要适配一下服务的地址，通过编写RedirectingHandler类，并用其构造一个HttpClient实例传递给Kernel。细心的同学可能已经发现了，这里我转发的Ollama服务的路径也变成了和OpenAI服务一样的路径，但是上面我调用Ollama服务用的是/api/chat和/api/embed这种地址的接口。这是因为Ollama为了兼容OpenAI的标准，专门开发了一套和OpenAI路径和参数都一样的接口，这一点是需要注意的。当然Ollama暂时还没有全部兼容OpenAI接口的全部特征，有兴趣的同学可以去看一下https://github.com/ollama/ollama/blob/main/docs/openai.md文档地址，了解更详细的内容。

上面的服务运行起来，我们同样可以进行对话，效果如下所示
C#整合Ollama实现本地LLMs调用
同样的你可以通过SemanticKernel使用嵌入模型的功能，如下所示

using HttpClient httpClient = new HttpClient(new RedirectingHandler());
httpClient.Timeout = TimeSpan.FromSeconds(120);

var kernelBuilder = Kernel.CreateBuilder()
    .AddOpenAITextEmbeddingGeneration(
       modelId:"nomic-embed-text:latest",
       apiKey:"ollama",
       httpClient: httpClient);
Kernel kernel = kernelBuilder.Build();
var embeddingService  = kernel.GetRequiredService<ITextEmbeddingGenerationService>();
var embeddings = await embeddingService.GenerateEmbeddingsAsync(["我觉得c#是一门不错的编程语言"]);
Console.WriteLine($"[{string.Join(",", embeddings[0].ToArray())}]");

这里休要注意的是AddOpenAITextEmbeddingGeneration方法是评估方法，将来版本有可能会删除的，所以默认的用VS使用该方法会有错误提醒，可以在csproj的PropertyGroup标签中设置一下NoWarn来忽略这个提醒。

<PropertyGroup>
   <OutputType>Exe</OutputType>
   <TargetFramework>net8.0</TargetFramework>
   <NoWarn>SKEXP0010;SKEXP0001</NoWarn>
</PropertyGroup>

总结

    本文介绍了如何通过C#结合Ollama实现本地大语言模型的部署与调用，重点演示了在C#应用中集成该功能的具体步骤。通过详细的安装指南与代码示例，帮助开发者快速上手。

  • 首先我们介绍了Ollama的安装及基本设置和命令的使用。
  • 然后介绍了如何通过Ollama调用大模型,比如使用命令行、Http接口服务、可视乎界面。
  • 再次我们我们通过C#使用了Ollama SDK来演示了对话模式、文本嵌入、多模态模型如何使用，顺便说了一下相似度计算相关。
  • 最后，我们展示了通过Semantic Kernel调用Ollama服务，因为Ollama对OpenAI的接口数据格式做了兼容，虽然还有部分未兼容，但是日常使用问题不大。
最新文章 相关文章

使用C#判断文件是否为图片的多种方法

目录 0、常见的判断图片文件的方法 1. 根据文件扩展名判断 代码示例 优缺点 2. 通过文件头（Magic Number）判断 代码示例 优缺点 3. 使用 ImageSharp 判断文件是否为图

2024-10-18 23:26:39

QT 实现随机验证码功能

目录 1.界面实现效果 2.简介 3.使用1.界面实现效果以下是具体的项目需要用到的效果展示，用于验证字母。2.简介自定义CaptchaMovableLabel，继承自QLabel类：
中间的4个字母，就是Ca

2024-10-18 23:26:30

C# Winform截图指定控件范围内的图像的流程步骤

目录 一、函数输入 二、函数输出 三、使用示例一、函数输入输入有两个，参数一：需要截图的容器控件，参数二：保存截图的绝对路径路径<param name="control">控件名</param>
<param

2024-10-14 19:57:08

C++解决回调地狱问题的方法小结

目录1. 使用 Lambda 表达式和标准库 std::function2. 使用 std::future 和 std::promise3. 使用协程 (C++20)4. 使用异步框架总结“地狱回调”（Callback Hell）是指

2024-09-10 22:05:57

C语言报错：Buffer Overflow的原因和解决办法

目录简介什么是Buffer OverflowBuffer Overflow的常见原因如何检测和调试Buffer Overflow解决Buffer Overflow的最佳实践详细实例解析示例1：数组越界写入示例2：未检查输入长度

2024-09-10 22:05:55

C++报错：Segmentation Fault的解决方案

目录引言段错误的产生原因段错误的检测方法段错误的预防措施段错误的解决方案总结引言段错误（Segmentation Fault）是 C++ 编程中常见且令人头疼的错误之一。段错误通常发生在

2024-09-10 22:05:53

Qt中QPushButton组件的使用详解

QPushButton是Qt库中的一个重要组件，它是用户界面（UI）设计中常用的一个按钮控件。在Qt程序中，QPushButton用于创建可以在界面上点击响应操作的交互元素。它的主要作用包括：显示文

2024-09-10 22:05:51

Qt实现手动切换多种布局的完美方案

目录引言示例需求开发环境代码实现运行结果程序分析注意引言之前写了一个手动切换多个布局的程序，下面来记录一下。
程序运行效果如下：示例需求通过点击程序界面上不同的布局

2024-09-10 22:05:49

一篇文章详解Qt中如何访问数据库

目录前言1. 加载数据库驱动2. 创建数据库连接3. 执行SQL查询或命令4. 关闭数据库连接示例完整代码片段打开多个数据库使用建议总结 前言在Qt中访问数据库涉及到几个关键步骤

2024-09-10 22:05:47

Qt 编译配置 Protobuf 的详细步骤

目录步骤 1: 安装Protobuf步骤 2: 配置Qt项目步骤 3: 编译和运行项目 运行qmake以生成Makefile：注意事项在Qt项目中使用Protobuf（Protocol Buffers）可以有效地处理数据序列化和

2024-09-10 22:05:45

C++ STL iota 和 atoi 用法示例详解

目录一：功能二：用法一：功能 iota 是给定一个初始元素，然后依次对序列中每个元素进行递增++操作，详见代码一； atoi 是将字符串转换成整数；atol, atoll 将字符串转换成

2024-09-10 22:05:43

C语言中输出空格的五种方法

目录前言1. 直接在字符串中包含空格2. 使用 %s 和空格3. 使用 \t 输出制表符（Tab）4. 使用循环输出多个空格5. 使用格式控制符输出空格总结前言在C语言中，输出空格可以通过使用

2024-09-10 22:05:41

C语言文件操作入门指南

一、为什么使用文件在学习完结构体后，为了检验学习成果，我们写了一个通讯录的小程序，当通讯录运行起来的时候，可以给通讯录中增加、删除数据，此时数据是存放在内存中的，当程序退出

2024-09-10 22:05:39

Qt中暂停程序的几种方法小结

目录1. 使用 QThread::sleep示例代码：说明：优点：缺点：2. 使用 QTimer 和事件循环示例代码：说明：优点：缺点：3. 使用 QEventLoop 结合 QTimer示例代码：说明：优点：缺点：4. 使用 QPauseAnima

2024-09-10 22:05:35

C语言中实现自定义数据类型的输入输出的方法和技巧

目录C 语言中如何实现自定义数据类型的输入输出一、结构体数据类型的输入输出二、枚举数据类型的输入输出三、联合数据类型的输入输出四、使用指针实现复杂数据结构的输入输

2024-09-10 22:05:34

详解C/C++如何发送与接收Kafka消息

目录一、背景二、环境依赖安装三、编写kakfa生产者消费者3.1 生产者3.2 消费者3.3 编译运行3.3.1 编译生产者消费者3.3.2 运行验证3.4 SASL认证kakfa3.5 结束语一、背景在实

2024-09-10 22:05:32

C++传值、传址、传引用的区别和选择小结

目录传值传址传引用如何选择合适的参数传递方式在C++中，参数传递方式主要有三种：传值（pass by value）、传址（pass by address）、传引用（pass by reference）。每种方式都有其特定的使

2024-09-10 22:05:30

C++如何实现sha256算法

目录概述CHP_Sha256总结概述SHA-256，英文全称为Secure Hash Algorithm 256-bit，是一种广泛使用的密码散列函数，属于SHA-2家族。SHA-256算法由美国国家安全局（NSA）设计，并由美国国

2024-09-10 22:05:28

C语言中的断言函数assert详解

简介assert 是 C 语言中的一个宏，用于在程序运行时进行条件检查，主要用于调试目的。它在 <assert.h> 头文件中定义，用于验证程序中的假设条件是否成立，如果不成立，程序将打印错误

2024-09-10 22:05:26

C++之assert推荐用法及注意事项

目录1.引言2.简单示例3.推荐使用方法4.常见使用场景和注意事项4.1.检查参数的合法性4.2.assert不能使用改变环境的语句4.3.在未知的逻辑中添加assert(false)5.总结1.引言ass

2024-09-10 22:05:24

Qt中connect()函数及用法详解

目录一、基本概念二、用法1.旧版用法（Qt4和早期Qt5）2.新版用法（推荐）3.自动连接（无需使用connect()函数）4.Lambda表达式（Qt5.4）三、断开连接disconnect()1.为什么使用disconnect()2.

2024-09-10 22:05:23

深入解读C++ 内联函数inline|nullptr

目录一、inline关键字1.1 什么是内联函数？1.2 为什么会有内联函数？1.2.1 回顾宏1.2.2 宏的改进&ndash;内联函数1.3 内联函数的特性二、指针空值nullptr2.1 C和C++中NULL的含义

2024-09-10 22:05:21

vscode远程连接服务器(免密登录+远程开发)

目录1.获取服务器IP2.安装并且启用ssh服务3.在vscode中远程连接 4.实现免密登录vscode的远程连接功能十分方便，可以让我们在一个开发工具中实现完整的工作流，下面介绍如何在vs

2024-09-10 22:05:18

C++实现LRU缓存的操作方法

目录LRU的概念哈希表（unordered_map）主要特性常用操作双向链表（list）特性常用操作LRU缓存（C++）初始化状态LRU的概念LRU（Least Recently Used，最近最少使用）是一种常用的缓存淘汰策略，

2024-09-10 22:05:16

使用C语言生成图片的base64编码的代码实现

目录一、前言二、代码实操2.1 将二进制数据转为Base64编码2.2 实现图片的base64编码和解码一、前言Base64编码是一种广泛使用的编码方案，将任意二进制数据转换为可打印的ASCI

2024-09-10 22:05:14

C语言strcat函数详解：字符串追加的利器

目录一、strcat函数的简介二、strcat函数的使用三、strcat函数的注意事项四、strcat函数的模拟实现一、strcat函数的简介strcat函数用于将源字符串追加到目标字符串的末尾，并

2024-09-10 22:05:12

C++之thread_local变量的一些用法

目录1.C++ 的存储类型1.1.存储周期（Storage duration）1.2.存储类型说明符（Storage class specifiers）1.3.存储类型说明符与存储周期的关系2.thread_local简介3.thread_local 应

2024-09-10 22:05:10

c++栈内存和堆内存的基本使用小结

c++栈内存和堆内存的基本使用#include <iostream>// 定义一个简单的结构体struct Person { std::string name; int age;};int main() { // 栈内存分配 int a = 10; //

2024-09-10 22:05:08

C++11标准库 互斥锁 <mutex> 详解

目录<mutex>std::call_once函数例程:使用call_once实现的单例模式std::mutex类 -- 独占互斥锁成员函数std::recursive_mutex类 -- 递归互斥锁使用注意:描述:std::timed_mute

2024-09-10 22:05:06

C++实现字符串元音字母反转的两种方法

目录C++实现字符串元音字母反转的巧妙方法示例方法一：利用数据结构存储元音位置和字符并反转代码实现1. 如何在C++中存储数字和字符并支持翻转2. 判断字符是否在列表中3. 巧

2024-09-10 22:05:04

热点内容

c语言中fun用法详解
2020-05-31
C语言实现520表白代码 祝你表白成功!
2021-06-03
Qt图形图像开发之高性能曲线图模块QCustomplot库详细使用方法与实例(支持动、静曲线图
2020-05-26
C语言实战之浪漫烟花表白程序代码
2021-04-24
VS Code C/C++环境配置教程(无法打开源文件“xxxxxx.h”或者检测到 #include 错误,请
2020-11-01
VS2019如何添加头文件路径的方法步骤
2020-11-01
VS2019配置OpenCV时找不到Microsoft.Cpp.x64.user的解决方法
2020-05-26
C语言实现放烟花的程序
2021-02-22
c语言如何用if判断成绩等级？
2020-06-19
VSCode同时更改所有相同的变量名或类名的图文教程
2020-11-01
返回顶部
顶部