red ollama

Go Redis Ollama

tl; dr

git clone " https://github.com/davidhintelmann/red-ollama.git "
go build - o " llm.exe "
. llm.exe

Use a bandeira P para inserir um prompt

. llm.exe - p " tell me a joke "

Use a bandeira M para inserir qual modelo você deseja usar

. llm.exe - p " tell me a joke " - m " phi3 " 

Resumo

Este repositório é um exemplo de como se pode usar a linguagem de programação GO para enviar prompts para o servidor Ollama hospedado localmente. Usando o ollama, pode solicitar instruções do LLM ou SLM hospedadas localmente.

Por exemplo, você pode baixar e servir:

• PHI3 SLM da Microsoft
• LLAMA3.1 LLM da Meta

Além disso, usando redis para cache solicitações junto com suas respostas

Antes de usar este repo

Pré -requisitos:

1. Download Go
2. Instale o ollama
3. Instale o Redis no Windows

Respostas de cache

Uma abordagem simples para o uso do Redis é o cache solicitações de cache junto com sua resposta e, se um usuário entrar no mesmo prompt duas vezes, o resultado em cache será retornado.

Isso foi desenvolvido no Windows 11 e pode -se usar o WSL 2 para instalar o Redis no Windows.

Cuidado

Este exemplo usa apenas strings redis para armazenar em cache dados.

De Redis Docs

Semelhante às matrizes de bytes, as sequências de bytes de armazenamento de cordas Redis, incluindo texto, objetos serializados, valores de contador e matrizes binárias.

Existem outros tipos também, por exemplo:

• Hash
• Lista
• Geoespacial

Se você instalar o Redis Stack, também poderá armazenar dados como JSON, mais informações aqui.

Os LLMs geralmente produzem suas respostas no JSON e o cache dos dados no mesmo formato seria a abordagem ideal a ser adotada.