Local LLM Langchain
1.0.0
L'objectif de ce projet est de permettre aux utilisateurs de charger facilement leurs modèles de langage hébergés localement dans un ordinateur portable pour les tests avec Langchain. Il existe actuellement trois cahiers disponibles. Deux d'entre eux utilisent une API pour créer un emballage Langchain LlM personnalisé, l'un pour l'interface utilisateur de génération de texte d'Oobabooga et l'autre pour Koboldai. Le troisième ordinateur portable charge les modèles sans API en tirant parti de l'environnement virtuel et des modules virtuels de génération de texte d'Oobabooga-webui pour le chargement du modèle.
Vous vous retrouverez avec une instance du wrapper LLM personnalisé qui peut être utilisée pour générer du texte:
llm("prompt goes here")
Vous pouvez l'utiliser au lieu de la classe Openai LLM que vous voyez utilisée dans la plupart des guides et documentation.
Veuillez suivre les instructions de configuration des API fournies dans leurs référentiels respectifs. Mettez simplement à jour la variable URL avec votre URL de l'API, puis exécutez les cellules pour créer une instance de l'emballage LLM personnalisé.
L'utilisation de l'API est maintenant ma méthode préférée pour charger les modèles. J'ai l'intention d'améliorer les classes / ordinateurs portables de l'API, mais pour l'instant, ils fonctionnent assez bien. Je laisse les trucs non API pour l'instant, mais je ne les maintiendrai pas activement à l'avenir, donc les choses pourraient se casser.
pip install jupyter dans votre invite de commande préférée ou votre terminal.jupyter notebook dans l'invite de commande ou le terminal pour lancer l'interface Jupyter.Non-API-Notebook.ipynb (les utilisateurs d'Ooba le mettent dans ./text-generation-webui/ et ouvrez le cahier dans l'interface Jupyter.
