ollama java

Ollama Javaクライアント

モジュール

• Ollama-java-client-オラマジャワクライアントライブラリ
• Ollama-java-client-starter-オラマジャワクライアントスプリングブート3スターター
• Spring-Boot-Ollama-Sample-Ollama Javaクライアントスプリングブート3スターターを使用したサンプルスプリングブート3アプリケーション

モデルの説明

OllamaService

OllamaServiceインターフェイスは、Ollama Webサービスとの相互作用を提供します。

 public interface OllamaService {
    CompletionResponse completion ( CompletionRequest completionRequest );

    TagsResponse getTags ();

    ShowResponse show ( ShowRequest showRequest );

    void copy ( CopyRequest copyRequest );

    void delete ( String modelName );

    void streamingCompletion ( CompletionRequest completionRequest , StreamResponseProcessor < String > handler );

    EmbeddingResponse embed ( EmbeddingRequest embeddingRequest );
}

OllamaserviceFactory

OllamaServiceFactoryクラスは、 OllamaServiceのインスタンスを作成する責任があります。指定された構成でサービスのインスタンスを作成するためのビルダーメソッドを提供します。

 public class OllamaServiceFactory {
    public static OllamaService create ( OllamaProperties properties ) { // ...
    }

    public static OllamaService create ( OllamaProperties properties , Gson gson ) { // ...
    }
}

StreamResponseProcessor

StreamResponseProcessorインターフェイスは、ストリーミング完了応答を処理する方法を提供します。

 public interface StreamResponseProcessor < T > {
    void processStreamItem ( T item );

    void processCompletion ( T fullResponse );

    void processError ( Throwable throwable );
}

使い方

工場でOllamaServiceのインスタンスを作成して使用してください。

ここを見てください

または、Spring-Boot-Ollama-Sampleプロジェクトをご覧ください。

有用なリソース

APIドキュメント

https://github.com/jmorganca/ollama/blob/main/docs/api.md

Linuxインストール

https://github.com/jmorganca/ollama/blob/main/docs/linux.md

$ curl https://ollama.ai/install.sh | sh
>>> Installing ollama to /usr/local/bin...
>>> Creating ollama user...
>>> Adding current user to ollama group...
>>> Creating ollama systemd service...
>>> Enabling and starting ollama service...
Created symlink /etc/systemd/system/default.target.wants/ollama.service → /etc/systemd/system/ollama.service.
>>> NVIDIA GPU installed.

テストURL

 # open http://localhost:11434/ 
# or via curl    
$ curl http://localhost:11434/api/tags

Mistral 7Bモデルをインストールします

$ ollama run mistral

ログの表示

スタートアップサービスとして実行されているOllamaのログを表示するには、実行してください。

$ journalctl -u ollama

アンインストール

Ollamaサービスを削除します：

sudo systemctl stop ollama
sudo systemctl disable ollama
sudo rm /etc/systemd/system/ollama.service

Bin Directory（ /usr /local /bin、 /usr /bin、または /binのいずれか）からOllamaバイナリを削除します。

sudo rm $( which ollama )

ダウンロードしたモデルとOllamaサービスユーザーを削除します。

sudo rm -r /usr/share/ollama
sudo userdel ollama