red ollama

레디스 올라마로 가십시오

tl; dr

git clone " https://github.com/davidhintelmann/red-ollama.git "
go build - o " llm.exe "
. llm.exe

P 플래그를 사용하여 프롬프트를 입력하십시오

. llm.exe - p " tell me a joke "

m 플래그를 사용하여 사용하려는 모델을 입력하십시오.

. llm.exe - p " tell me a joke " - m " phi3 " 

요약

이 repo는 GO 프로그래밍 언어를 사용하여 현지에서 호스팅 된 Ollama 서버에 프롬프트를 보낼 수있는 방법의 예입니다. Ollama를 사용하면 LLM 또는 SLM이 로컬로 호스팅 된 프롬프트를 요청할 수 있습니다.

예를 들어 다운로드 및 서빙 할 수 있습니다.

• Microsoft의 PHI3 SLM
• 메타의 llama3.1 llm

또한 Redis를 사용하여 응답과 함께 프롬프트를 캐시합니다.

이 저장소를 사용하기 전에

전제 조건 :

1. 다운로드하십시오
2. Ollama를 설치하십시오
3. Windows에 Redis를 설치하십시오

캐시 응답

Redis를 사용하는 간단한 접근 방식은 응답과 함께 프롬프트를 캐시하는 것입니다. 그런 다음 사용자가 동일한 프롬프트를 두 번 입력하면 캐시 된 결과가 대신 반환됩니다.

이것은 Windows 11에서 개발되었으며 WSL 2를 사용하여 Windows에 Redis를 설치할 수 있습니다.

주의

이 예제는 Redis 문자열 만 사용하여 데이터를 캐시합니다.

Redis Docs에서

바이트 어레이와 유사하게 Redis Strings는 텍스트, 직렬화 된 객체, 카운터 값 및 이진 배열을 포함한 바이트 시퀀스를 저장합니다.

예를 들어 다른 유형도 있습니다.

• 해시시
• 목록
• 지리 공간

Redis Stack을 설치하면 데이터를 JSON으로 저장할 수도 있습니다. 자세한 내용은 여기를 참조하십시오.

LLM은 종종 JSON에서 응답을 출력하고 동일한 형식으로 데이터를 캐싱하는 것이 이상적인 접근법입니다.