ollama java

Cliente de Ollama Java

Módulos

• Ollama-Java-Client-A Biblioteca de Clientes Ollama Java
• OLLAMA-JAVA-CLIENT-STARTER-O Spring Boot de Spring 3 do Ollama Java Spring 3
• Spring-Boot-Colama-amostra-Uma Botagem de Spring 3 Aplicativo de Spring 3 usando a inicialização do Ollama Java Client Spring 3 Starter

Descrição do modelo

OlLamaservice

A interface OlLamaservice fornece a interação com o Serviço da Web Ollama.

 public interface OllamaService {
    CompletionResponse completion ( CompletionRequest completionRequest );

    TagsResponse getTags ();

    ShowResponse show ( ShowRequest showRequest );

    void copy ( CopyRequest copyRequest );

    void delete ( String modelName );

    void streamingCompletion ( CompletionRequest completionRequest , StreamResponseProcessor < String > handler );

    EmbeddingResponse embed ( EmbeddingRequest embeddingRequest );
}

OlLamaserviceFactory

A classe OlLamaserviceFactory é responsável pela criação de instâncias do OllamaService . Ele fornece métodos do construtor para criar uma instância do serviço com a configuração especificada.

 public class OllamaServiceFactory {
    public static OllamaService create ( OllamaProperties properties ) { // ...
    }

    public static OllamaService create ( OllamaProperties properties , Gson gson ) { // ...
    }
}

StreamResponseProcessor

A interface StreamResponseProcessor fornece métodos para processar respostas de conclusão de streaming.

 public interface StreamResponseProcessor < T > {
    void processStreamItem ( T item );

    void processCompletion ( T fullResponse );

    void processError ( Throwable throwable );
}

Como usar

Basta criar uma instância do OllamaService com a fábrica e usá -la.

Dê uma olhada aqui

Ou dê uma olhada no projeto Spring-Boot-Colama-Sple.

Recursos úteis

API Doc

https://github.com/jmorganca/ollama/blob/main/docs/api.md

Instalação do Linux

https://github.com/jmorganca/ollama/blob/main/docs/linux.md

$ curl https://ollama.ai/install.sh | sh
>>> Installing ollama to /usr/local/bin...
>>> Creating ollama user...
>>> Adding current user to ollama group...
>>> Creating ollama systemd service...
>>> Enabling and starting ollama service...
Created symlink /etc/systemd/system/default.target.wants/ollama.service → /etc/systemd/system/ollama.service.
>>> NVIDIA GPU installed.

URL de teste

 # open http://localhost:11434/ 
# or via curl    
$ curl http://localhost:11434/api/tags

Modelo 7b Mistral de Instal

$ ollama run mistral

Visualizando logs

Para visualizar os registros de Ollama em execução como um serviço de inicialização, execute:

$ journalctl -u ollama

Desinstalar

Remova o serviço Ollama:

sudo systemctl stop ollama
sudo systemctl disable ollama
sudo rm /etc/systemd/system/ollama.service

Remova o binário ollama do seu diretório de bin (ou usr /local /bin, /usr /bin, ou /bin):

sudo rm $( which ollama )

Remova os modelos baixados e o usuário de serviço Ollama:

sudo rm -r /usr/share/ollama
sudo userdel ollama