red ollama

Go Redis Ollama

TL; DR

git clone " https://github.com/davidhintelmann/red-ollama.git "
go build - o " llm.exe "
. llm.exe

Используйте P -флаг, чтобы войти в подсказку

. llm.exe - p " tell me a joke "

Используйте M -флаг, чтобы ввести, какую модель вы хотите использовать

. llm.exe - p " tell me a joke " - m " phi3 " 

Краткое содержание

Этот репо является примером того, как можно использовать язык программирования GO для отправки подсказок на Ollama Server, размещенный локально. Используя Ollama, можно запросить подсказки от LLM или SLM, размещенных локально.

Например, вы можете скачать и подавать:

• Microsoft PHI3 SLM
• Meta's Llama3.1 LLM

Кроме того, использование Redis для подсказок кэша вместе с их ответами

Перед использованием этого репо

Предварительные условия:

1. Скачать Go
2. Установите Ollama
3. Установите Redis в Windows

Кэш Ответы

Простой подход к использованию Redis - это кэш -подсказки вместе с их ответом, а затем, если пользователь дважды вводит в одну и ту же подсказку, вместо этого будет возвращен кэшированный результат.

Это было разработано в Windows 11, и можно использовать WSL 2 для установки Redis в Windows.

Осторожность

В этом примере используются только строки Redis для кэша данных.

От Redis Docs

Подобно байтовым массивам, Redis Strings хранят последовательности байтов, включая текст, сериализованные объекты, значения счетчиков и двоичные массивы.

Есть и другие типы, например:

• Хэш
• Список
• Геопространство

Если вы установите Stack, вы также можете сохранить данные в качестве JSON, больше информации здесь.

LLM часто выводят свои ответы в JSON и кэширование данных в том же формате было бы идеальным подходом.