ollama java

Ollama Java客戶

模塊

• Ollama-Java-Client- Ollama Java客戶庫庫
• Ollama-Java-Client-Starter-Ollama Java客戶Spring Boot 3入門
• Spring-boot-ollama-sample-使用Ollama Java客戶端啟動3個啟動器的樣本Spring Boot 3應用程序

模型描述

Ollamaservice

Ollamaservice接口提供了與Ollama Web服務的交互。

 public interface OllamaService {
    CompletionResponse completion ( CompletionRequest completionRequest );

    TagsResponse getTags ();

    ShowResponse show ( ShowRequest showRequest );

    void copy ( CopyRequest copyRequest );

    void delete ( String modelName );

    void streamingCompletion ( CompletionRequest completionRequest , StreamResponseProcessor < String > handler );

    EmbeddingResponse embed ( EmbeddingRequest embeddingRequest );
}

OllamaserviceFactory

OllamaserviceFactory類負責創建OllamaService的實例。它提供了建築商方法，以創建使用指定配置的服務實例。

 public class OllamaServiceFactory {
    public static OllamaService create ( OllamaProperties properties ) { // ...
    }

    public static OllamaService create ( OllamaProperties properties , Gson gson ) { // ...
    }
}

StreamResponseProcessor

StreamResponseProcessor界面提供了處理流完成響應的方法。

 public interface StreamResponseProcessor < T > {
    void processStreamItem ( T item );

    void processCompletion ( T fullResponse );

    void processError ( Throwable throwable );
}

如何使用

只需使用工廠創建一個OllamaService的實例並使用它。

看看這裡

或查看Spring-boot-ollama-sample項目。

有用的資源

API文檔

https://github.com/jmorganca/ollama/blob/main/docs/api.md

Linux安裝

https://github.com/jmorganca/ollama/blob/main/docs/linux.md

$ curl https://ollama.ai/install.sh | sh
>>> Installing ollama to /usr/local/bin...
>>> Creating ollama user...
>>> Adding current user to ollama group...
>>> Creating ollama systemd service...
>>> Enabling and starting ollama service...
Created symlink /etc/systemd/system/default.target.wants/ollama.service → /etc/systemd/system/ollama.service.
>>> NVIDIA GPU installed.

測試URL

 # open http://localhost:11434/ 
# or via curl    
$ curl http://localhost:11434/api/tags

Instal Mistral 7b模型

$ ollama run mistral

查看日誌

要查看Ollama運行作為啟動服務的日誌，請運行：

$ journalctl -u ollama

解除安裝

刪除Ollama服務：

sudo systemctl stop ollama
sudo systemctl disable ollama
sudo rm /etc/systemd/system/ollama.service

從您的BIN目錄中刪除Ollama二進製文件（ /usr /local /bin， /usr /bin或 /bin）：

sudo rm $( which ollama )

刪除下載的模型和Ollama服務用戶：

sudo rm -r /usr/share/ollama
sudo userdel ollama