OllamaSharp

OLLAMASHARP?

Ollamasharp fournit des liaisons .NET pour l'API Olllama, simplifiant les interactions avec Olllama à la fois localement et à distance.

✅ Prise en charge du noyau Microsoft.Extensions.ai et Microsoft Semantic

Caractéristiques

• Facilité d'utilisation: interagir avec Olllama en quelques lignes de code.
• Couverture des points de terminaison de l'API: prise en charge de tous les points de terminaison de l'API Olllama, y ​​compris les chats, les intégres, la liste des modèles, le tirage et la création de nouveaux modèles, etc.
• Streaming en temps réel: diffusez des réponses directement à votre application.
• Représentation des progrès: obtenez des commentaires de progrès en temps réel sur les tâches comme le traction du modèle.
• Prise en charge des modèles et des outils de vision (appel de fonction).

Usage

OLLAMASHARP enveloppe chaque point de terminaison de l'API Ollama dans des méthodes attendables qui soutiennent pleinement le streaming de réponse.

La liste suivante montre quelques exemples de code simples.

ℹ Essayez notre application de démonstration complète qui est incluse dans ce référentiel

Initialisation

 // set up the client
var uri = new Uri ( " http://localhost:11434 " ) ;
var ollama = new OllamaApiClient ( uri ) ;

// select a model which should be used for further operations
ollama . SelectedModel = " llama3.1:8b " ;

Énumérer tous les modèles disponibles localement

 var models = await ollama . ListLocalModelsAsync ( ) ;

Tirer un modèle et signaler les progrès

 await foreach ( var status in ollama . PullModelAsync ( " llama3.1:405b " ) )
    Console . WriteLine ( $" { status . Percent } % { status . Status } " ) ;

Générer un achèvement directement dans la console

 await foreach ( var stream in ollama . GenerateAsync ( " How are you today? " ) )
    Console . Write ( stream . Response ) ;

Construire des chats interactifs

 var chat = new Chat ( ollama ) ;
while ( true )
{
    var message = Console . ReadLine ( ) ;
    await foreach ( var answerToken in chat . SendAsync ( message ) )
        Console . Write ( answerToken ) ;
}
// messages including their roles and tool calls will automatically be tracked within the chat object
// and are accessible via the Messages property 

Utilisation avec Microsoft.Extensions.ai

Microsoft a construit une bibliothèque d'abstraction pour rationaliser l'utilisation de différents fournisseurs d'IA. C'est un concept vraiment intéressant si vous prévoyez de créer des applications qui pourraient utiliser différents fournisseurs, comme Chatgpt, Claude et des modèles locaux avec Olllama.

Je vous encourage à lire leur comptabilité en présentant Microsoft.Extensions.ai Aperçu - Blocs de construction unifiés AI pour .NET.

Ollamasharp est la première implémentation complète de leur IChatClient et IEmbeddingGenerator qui permet d'utiliser Olllama comme tous les autres fournisseurs de chat.

Pour ce faire, utilisez simplement l' OllamaApiClient comme IChatClient au lieu d' IOllamaApiClient .

 // install package Microsoft.Extensions.AI.Abstractions

private static IChatClient CreateChatClient ( Arguments arguments )
{
  if ( arguments . Provider . Equals ( " ollama " , StringComparison . OrdinalIgnoreCase ) )
    return new OllamaApiClient ( arguments . Uri , arguments . Model ) ;
  else
    return new OpenAIChatClient ( new OpenAI . OpenAIClient ( arguments . ApiKey ) , arguments . Model ) ; // ChatGPT or compatible
} 

Note

IOllamaApiClient fournit de nombreuses méthodes spécifiques à l'ollama que IChatClient et IEmbeddingGenerator manquent. Parce que ce sont des abstractions, IChatClient et IEmbeddingGenerator ne mettra jamais en œuvre la spécification complète de l'API Olllama. Cependant, OllamaApiClient implémente trois interfaces: l' IOllamaApiClient natif et Microsoft IChatClient et IEmbeddingGenerator<string, Embedding<float>> qui vous permet de le lancer à l'une de ces deux interfaces comme vous en avez besoin à tout moment.

Crédits

L'icône et le nom ont été réutilisés à partir de l'incroyable projet Olllama.

Je tiens à remercier tous les contributeurs qui prennent le temps d'améliorer Ollamasharp. D'abord et avant tout, Mili-Tan, qui maintient toujours Ollamasharp en synchronisation avec l'API Ollama. ❤