LLM Repl

LLM REPL

Qu'est-ce que c'est?

L'objectif de ce projet est de créer un REP simple et interactif (Read-Eval-Print-boucle) qui permet aux utilisateurs d'interagir avec une variété de modèles de grande langue ( LLMS ). Le projet est principalement construit sur deux bibliothèques Python: Langchain, qui fournit une interface pratique et flexible pour travailler avec LLMS, et Rich qui fournit une interface conviviale pour le REP. Le REP peut également être lancé en mode HeadledSS et il peut être interagi avec l'utilisation de WebSocket .

Actuellement, le projet est en développement et ne prend en charge que l'interaction avec le chatgpt, mais il a été une structure pour faciliter la prolongation d'utiliser des LLMS, y compris ceux personnalisés (en étendant BaseLLM dans ./src/llm_repl/llms/__init__.py ).

ChatGPT peut être interagi en utilisant les modèles gpt-3.5-turbo et gpt4 (pour les utilisateurs qui ont obtenu GPT-4 API Beta).

Caractéristiques

Le REP prend en charge les fonctionnalités suivantes:

Mode de streaming

Le REP n'attendra pas que le modèle termine la génération de la sortie, mais il commencera à imprimer la sortie dès qu'il sera disponible.

Mémoire de la conversation

Le REP prend en charge la mémoire de conversation. Cela signifie que le modèle se souviendra de la conversation précédente et l'utilisera pour générer la prochaine réponse.

Jolie impression

Le REP prend en charge Markdown rendant à la fois l'entrée et la sortie.

PS: Dans cette version initiale du REP, la syntaxe complète Markdown est uniquement lors de l'exécution de l'outil en mode non-streaming . En mode streaming seules les sections de code seront assez imprimées.

Mode sans tête

Le REP peut être exécuté en mode sans tête. Cela signifie qu'il peut être interagi avec l'utilisation d'un WebSocket. Ceci est utile pour intégrer le REP avec d'autres applications / autres UIS.

Pour lancer le Mode sans tête sans tête, exécutez la commande suivante:

llm-repl --repl websocket --port < PORT >

Modèle d'activation à la volée

À VENIR...

Histoire de la conversation

À VENIR...

Installation

pip install llm-repl

Usage

Exportez d'abord votre clé API OpenAI comme variable d'environnement:

 export OPENAI_API_KEY= < OPENAI_KEY >

Ensuite, exécutez le REP:

llm-repl

Ou si vous souhaitez utiliser un modèle spécifique:

llm-repl --llm chatgpt4

Courir à l'intérieur de Docker

docker run -it --rm -e OPENAI_API_KEY= < OPENAI_KEY > phate/llm-repl

Ou si vous souhaitez trouver les variables d'environnement à partir d'un fichier, créez d'abord un fichier appelé .env avec le contenu suivant:

OPENAI_API_KEY= < OPENAI_KEY >

Puis exécutez la commande suivante:

docker run -it --rm --env-file .env phate/llm-repl

Développement

Pour installer le REP en mode de développement

Installez ensuite le package en mode développement:

pip install -e " .[DEV] "

Avant de contribuer, assurez-vous d'exécuter les commandes suivantes:

pre-commit install