node llama cpp

nœud-llama-cpp

Exécutez des modèles d'IA localement sur votre machine

_{Les liaisons prédéfinies sont fournies avec une solution de secours pour créer à partir des sources avec cmake}

v3.0 est là !

Caractéristiques

• Exécutez des LLM localement sur votre machine

• Prise en charge de Metal, CUDA et Vulkan

• Des binaires pré-construits sont fournis, avec une possibilité de construire à partir des sources sans node-gyp ou Python

• S'adapte automatiquement à votre matériel, aucune configuration n'est nécessaire

• Une suite complète de tout ce dont vous avez besoin pour utiliser les LLM dans vos projets

• Utilisez la CLI pour discuter avec un modèle sans écrire de code

• À jour avec le dernier llama.cpp . Téléchargez et compilez la dernière version avec une seule commande CLI

• Appliquer un modèle pour générer une sortie dans un format analysable, comme JSON, ou même le forcer à suivre un schéma JSON spécifique

• Fournir un modèle avec des fonctions qu'il peut appeler à la demande pour récupérer des informations sur les actions effectuées

• Prise en charge de l'intégration

• Excellente expérience de développeur avec prise en charge complète de TypeScript et documentation complète

• Beaucoup plus

Documentation

• Guide de démarrage

• Référence API

• Aide CLI

• Blogue

• Journal des modifications

• Feuille de route

Essayez-le sans installer

Discutez avec un modèle dans votre terminal à l'aide d'une seule commande :

 npx -y node-llama-cpp chat

Installation

 npm installer nœud-llama-cpp

Ce package est livré avec des binaires prédéfinis pour macOS, Linux et Windows.

Si les binaires ne sont pas disponibles pour votre plate-forme, il faudra télécharger une version de llama.cpp et la construire à partir des sources avec cmake . Pour désactiver ce comportement, définissez la variable d'environnement NODE_LLAMA_CPP_SKIP_DOWNLOAD sur true .

Usage

 importer {fileURLToPath} depuis "url"; importer le chemin depuis "path"; importer {getLlama, LlamaChatSession} depuis "node-llama-cpp"; const __dirname = path.dirname(fileURLToPath(import.meta.url));const lama = attendre getLlama();const model = attendre llama.loadModel({modelPath : path.join(__dirname, "models", "Meta-Llama-3.1-8B-Instruct.Q4_K_M.gguf")});const context = wait model.createContext();const session = new LlamaChatSession({contextSequence: context. getSequence()});const q1 = "Bonjour, comment vas-tu ?";console.log("Utilisateur : " + q1);const a1 = wait session.prompt(q1);console.log("AI: " + a1);const q2 = "Résumez ce que vous avez dit";console.log("Utilisateur : " + q2);const a2 = attendre session.prompt(q2 );console.log("AI: " + a2);

Pour plus d'exemples, consultez le guide de démarrage

Contribuer

Pour contribuer à node-llama-cpp lisez le guide de contribution.

Remerciements

• lama.cpp : ggerganov/llama.cpp

Si vous aimez ce repo, mettez-le en vedette ✨