LLM Repl
1.0.0
Ziel dieses Projekts ist es, eine einfache, interaktive Reply (Read-Eval-Print-Schleife) zu erstellen, mit der Benutzer mit einer Vielzahl von großen Sprachmodellen ( LLMs ) interagieren können. Das Projekt ist hauptsächlich auf zwei Python-Bibliotheken aufgebaut: Langchain, das eine bequeme und flexible Schnittstelle für die Arbeit mit LLMs bietet und eine benutzerfreundliche Schnittstelle für die Repl. Die Reply kann auch im Headledss -Modus gestartet werden und kann mit WebSocket mit der Verwendung von WebSocket interagiert werden.
Derzeit ist das Projekt in der Entwicklung und unterstützt nur die Interaktion mit dem ChatGPT, aber es war die Struktur, die Verwendung von LLMs, einschließlich benutzerdefinierter, einfach zu erweitern (durch Erweiterung BaseLLM in ./src/llm_repl/llms/__init__.py ).
ChatGPT kann mithilfe der Modelle gpt-3.5-turbo und gpt4 (für Benutzer, die GPT-4-API-Beta erhalten haben) interagiert werden.
Die Repl unterstützt die folgenden Funktionen:
Die Wiederholung wartet nicht darauf, dass das Modell die Erzeugung der Ausgabe beendet, aber es wird damit beginnen, die Ausgabe zu drucken, sobald es verfügbar ist.
Die Repl unterstützt das Gesprächsgedächtnis. Dies bedeutet, dass sich das Modell an das vorherige Gespräch erinnert und es verwendet, um die nächste Antwort zu generieren.
Die Repl unterstützt Markdown, das sowohl die Eingabe als auch die Ausgabe rendert.
PS: In dieser ersten Version der Repl ist die vollständige Markdown-Syntax nur beim Ausführen des Tools im non-streaming -Modus. Im streaming -Modus werden nur Codeabschnitte ziemlich gedruckt.
Die Reply kann im kopflosen Modus ausgeführt werden. Dies bedeutet, dass es mit einem WebSocket mit der Verwendung eines Websocket interagiert werden kann. Dies ist nützlich, um die Repl mit anderen Anwendungen / anderen UIs zu integrieren.
Führen Sie den folgenden Befehl aus, um die Repl im Kopflosenmodus zu starten:
llm-repl --repl websocket --port < PORT >Bald kommen ...
Bald kommen ...
pip install llm-replExportieren Sie zuerst Ihre OpenAI -API -Schlüssel als Umgebungsvariable:
export OPENAI_API_KEY= < OPENAI_KEY >Dann führen Sie die Wiederholung aus:
llm-replOder wenn Sie ein bestimmtes Modell verwenden möchten:
llm-repl --llm chatgpt4docker run -it --rm -e OPENAI_API_KEY= < OPENAI_KEY > phate/llm-repl Oder wenn Sie die Umgebungsvariablen aus einer Datei beziehen möchten, erstellen Sie zunächst eine Datei mit dem Namen .env mit dem folgenden Inhalt:
OPENAI_API_KEY= < OPENAI_KEY >Und dann den folgenden Befehl ausführen:
docker run -it --rm --env-file .env phate/llm-replSo installieren Sie die Repl im Entwicklungsmodus
Installieren Sie dann das Paket im Entwicklungsmodus:
pip install -e " .[DEV] "Bevor Sie sich beigetragen haben, stellen Sie bitte die folgenden Befehle aus:
pre-commit install
