red ollama

去Redis Ollama

tl; dr

git clone " https://github.com/davidhintelmann/red-ollama.git "
go build - o " llm.exe "
. llm.exe

使用P标志进入提示

. llm.exe - p " tell me a joke "

使用M标志输入您要使用的模型

. llm.exe - p " tell me a joke " - m " phi3 " 

概括

此存储库是如何使用GO编程语言将提示发送到本地托管的Ollama服务器的一个示例。使用Ollama可以在本地托管的LLM或SLM请求提示。

例如，您可以下载并服务：

• 微软的Phi3 SLM
• Meta的Llama3.1 LLM

此外，使用redis来缓存提示及其响应

在使用此仓库之前

先决条件：

1. 下载去
2. 安装Ollama
3. 在Windows上安装Redis

缓存响应

使用REDIS的一种简单方法是缓存提示及其响应，然后如果用户两次进入相同的提示，则将返回缓存结果。

这是在Windows 11上开发的，可以使用WSL 2在Windows上安装Redis。

警告

此示例仅使用redis字符串来缓存数据。

来自Redis文档

与字节数组类似，Redis字符串存储字节的序列，包括文本，序列化对象，计数器值和二进制数组。

例如，还有其他类型：

• 哈希
• 列表
• 地理空间

如果您安装了Redis堆栈，则还可以将数据存储为JSON，请在此处提供更多信息。

LLM通常在JSON中输出其响应，并以相同格式缓存数据将是理想的采用方法。