ollama java

올라마 자바 클라이언트

모듈

• Ollama-Java-Client- 올라마 자바 클라이언트 도서관
• Ollama-Java-Client-Starter-Ollama Java Client Spring Boot 3 스타터
• Spring-Boot-Ollama-Sample- 샘플 스프링 부츠 3 Ollama Java Client Spring Boot를 사용한 응용 프로그램 3 스타터

모델 설명

Ollamaservice

Ollamaservice 인터페이스는 Ollama 웹 서비스와의 상호 작용을 제공합니다.

 public interface OllamaService {
    CompletionResponse completion ( CompletionRequest completionRequest );

    TagsResponse getTags ();

    ShowResponse show ( ShowRequest showRequest );

    void copy ( CopyRequest copyRequest );

    void delete ( String modelName );

    void streamingCompletion ( CompletionRequest completionRequest , StreamResponseProcessor < String > handler );

    EmbeddingResponse embed ( EmbeddingRequest embeddingRequest );
}

Ollamaservicefactory

Ollamaservicefactory 클래스는 OllamaService 의 인스턴스를 생성하는 일을 담당합니다. 지정된 구성으로 서비스 인스턴스를 생성 할 수있는 빌더 방법을 제공합니다.

 public class OllamaServiceFactory {
    public static OllamaService create ( OllamaProperties properties ) { // ...
    }

    public static OllamaService create ( OllamaProperties properties , Gson gson ) { // ...
    }
}

StreamResponseProcessor

StreamResponseProcessor 인터페이스는 스트리밍 완료 응답을 처리하는 메소드를 제공합니다.

 public interface StreamResponseProcessor < T > {
    void processStreamItem ( T item );

    void processCompletion ( T fullResponse );

    void processError ( Throwable throwable );
}

사용 방법

공장과 함께 OllamaService 인스턴스를 만들어 사용하십시오.

여기를 살펴보십시오

또는 Spring-Boot-Ollama-Sample 프로젝트를 살펴보십시오.

유용한 리소스

API DOC

https://github.com/jmorganca/ollama/blob/main/docs/api.md

리눅스 설치

https://github.com/jmorganca/ollama/blob/main/docs/linux.md

$ curl https://ollama.ai/install.sh | sh
>>> Installing ollama to /usr/local/bin...
>>> Creating ollama user...
>>> Adding current user to ollama group...
>>> Creating ollama systemd service...
>>> Enabling and starting ollama service...
Created symlink /etc/systemd/system/default.target.wants/ollama.service → /etc/systemd/system/ollama.service.
>>> NVIDIA GPU installed.

테스트 URL

 # open http://localhost:11434/ 
# or via curl    
$ curl http://localhost:11434/api/tags

Instal Mistral 7B 모델

$ ollama run mistral

보기 로그

Ollama의 로그를 스타트 업 서비스로 보려면 실행하십시오.

$ journalctl -u ollama

제거하십시오

Ollama 서비스 제거 :

sudo systemctl stop ollama
sudo systemctl disable ollama
sudo rm /etc/systemd/system/ollama.service

빈 디렉토리에서 Ollama 바이너리를 제거하십시오 ( /usr /local /bin, /usr /bin 또는 /bin) :

sudo rm $( which ollama )

다운로드 된 모델 및 Ollama 서비스 사용자를 제거하십시오.

sudo rm -r /usr/share/ollama
sudo userdel ollama