ollama java

Client d'Olllama Java

Modules

• Ollama-Java-Client - La bibliothèque client Java Ollama
• Ollama-Java-Client-Starter - The Ollama Java Client Spring Boot 3 Starter
• Spring-Boot-Elma-échantillon - Un échantillon d'application Spring Boot 3 Utilisation du démarreur Spring Boot 3 du client Olllaa Java Spring 3

Description du modèle

Ollamaservice

L'interface Ollamaservice fournit l'interaction avec le service Web Ollama.

 public interface OllamaService {
    CompletionResponse completion ( CompletionRequest completionRequest );

    TagsResponse getTags ();

    ShowResponse show ( ShowRequest showRequest );

    void copy ( CopyRequest copyRequest );

    void delete ( String modelName );

    void streamingCompletion ( CompletionRequest completionRequest , StreamResponseProcessor < String > handler );

    EmbeddingResponse embed ( EmbeddingRequest embeddingRequest );
}

Ollamaservicefactory

La classe OllamaserviceFactory est responsable de la création d'instances de l' OllamaService . Il fournit des méthodes de constructeur pour créer une instance du service avec la configuration spécifiée.

 public class OllamaServiceFactory {
    public static OllamaService create ( OllamaProperties properties ) { // ...
    }

    public static OllamaService create ( OllamaProperties properties , Gson gson ) { // ...
    }
}

StreamResponseprocesseur

L'interface StreamResponseProcessor fournit des méthodes pour traiter les réponses de réalisation de streaming.

 public interface StreamResponseProcessor < T > {
    void processStreamItem ( T item );

    void processCompletion ( T fullResponse );

    void processError ( Throwable throwable );
}

Comment utiliser

Créez simplement une instance du OllamaService avec l'usine et utilisez-la.

Jetez un œil ici

Ou jetez un œil au projet Spring-Boot-Elma-échantillon.

Ressources utiles

API Doc

https://github.com/jmorganca/ollama/blob/main/docs/api.md

Installation de Linux

https://github.com/jmorganca/ollama/blob/main/docs/linux.md

$ curl https://ollama.ai/install.sh | sh
>>> Installing ollama to /usr/local/bin...
>>> Creating ollama user...
>>> Adding current user to ollama group...
>>> Creating ollama systemd service...
>>> Enabling and starting ollama service...
Created symlink /etc/systemd/system/default.target.wants/ollama.service → /etc/systemd/system/ollama.service.
>>> NVIDIA GPU installed.

URL de test

 # open http://localhost:11434/ 
# or via curl    
$ curl http://localhost:11434/api/tags

Modèle 7b install

$ ollama run mistral

Affichage des journaux

Pour afficher les journaux d'Olllama en cours de service de démarrage, exécutez:

$ journalctl -u ollama

Désinstaller

Supprimer le service Olllama:

sudo systemctl stop ollama
sudo systemctl disable ollama
sudo rm /etc/systemd/system/ollama.service

Retirez le binaire Olllama de votre répertoire bac (soit / usr / local / bin, / usr / bin, ou / bin):

sudo rm $( which ollama )

Supprimer les modèles téléchargés et l'utilisateur du service Olllama:

sudo rm -r /usr/share/ollama
sudo userdel ollama