red ollama

Ir a redis ollama

tl; Dr

git clone " https://github.com/davidhintelmann/red-ollama.git "
go build - o " llm.exe "
. llm.exe

Use la bandera P para ingresar a un aviso

. llm.exe - p " tell me a joke "

Use la bandera M para ingresar qué modelo desea usar

. llm.exe - p " tell me a joke " - m " phi3 " 

Resumen

Este repositorio es un ejemplo de cómo se puede usar el lenguaje de programación GO para enviar indicaciones al servidor Ollama alojado localmente. Uso de Ollama Se puede solicitar las indicaciones de LLM o SLM alojados localmente.

Por ejemplo, puede descargar y servir:

• Phi3 SLM de Microsoft
• Meta's Llama3.1 LLM

Además, el uso de Redis para almacenar en caché junto con sus respuestas

Antes de usar este repositorio

Prerrequisitos:

1. Descargar Go
2. Instalar Ollama
3. Instalar Redis en Windows

Respuestas de caché

Un enfoque simple para usar Redis es para almacenar en caché junto con su respuesta, y luego, si un usuario ingresa la misma solicitud dos veces, el resultado almacenado en caché se devolverá en su lugar.

Esto se desarrolló en Windows 11 y uno puede usar WSL 2 para instalar Redis en Windows.

Precaución

Este ejemplo solo usa cadenas Redis para caché de datos.

De Redis Docs

Similar a las matrices de bytes, las cadenas Redis almacenan secuencias de bytes, incluidos texto, objetos serializados, valores de contadores y matrices binarias.

También hay otros tipos, por ejemplo:

• Picadillo
• Lista
• Geoespacial

Si instala Redis Stack, también puede almacenar datos como JSON, más información aquí.

Los LLM a menudo generan sus respuestas en JSON y almacenan en caché los datos en el mismo formato sería el enfoque ideal a tomar.