LLM Repl

LLM REPL

¿Qué es esto?

El objetivo de este proyecto es crear una replica simple e interactiva (lee-eval-imprint-loop) que permite a los usuarios interactuar con una variedad de modelos de idiomas grandes ( LLM ). El proyecto se basa principalmente en dos bibliotecas de Python: Langchain, que proporciona una interfaz conveniente y flexible para trabajar con LLMS, y Rich que proporciona una interfaz fácil de usar para el Repl. El RePL también se puede lanzar en el modo HeadlEdss y se puede interactuar con el uso de WebSocket .

Actualmente, el proyecto está en desarrollo y solo admite la interacción con el CHATGPT, pero ha sido estructura para facilitar su uso de cualquier LLMS, incluidas las personalizadas (al extender BaseLLM en ./src/llm_repl/llms/__init__.py ).

ChatGPT se puede interactuar utilizando los modelos gpt-3.5-turbo y gpt4 (para los usuarios que obtuvieron GPT-4 API Beta).

Características

El replica admite las siguientes características:

Modo de transmisión

El replica no esperará a que el modelo termine de generar la salida, pero comenzará a imprimir la salida tan pronto como esté disponible.

Memoria de conversación

El replica admite la memoria de conversación. Esto significa que el modelo recordará la conversación anterior y la usará para generar la próxima respuesta.

Pretty Printing

El replica admite la representación de Markdown tanto de la entrada como la salida.

PS: En esta versión inicial de la REPL, la sintaxis de Markdown completa es solo cuando se ejecuta la herramienta en modo non-streaming . En modo streaming , solo las secciones de código estarán bastante impresas.

Modo sin cabeza

El RePL se puede ejecutar en modo sin cabeza. Esto significa que se puede interactuar con el uso de un websocket. Esto es útil para integrar el RePL con otras aplicaciones / otras UI.

Para iniciar el REPL en modo sin cabeza, ejecute el siguiente comando:

llm-repl --repl websocket --port < PORT >

Modelo encender la mosca

MUY PRONTO...

Historia de conversación

MUY PRONTO...

Instalación

pip install llm-repl

Uso

Primero exporte su tecla API OpenAI como una variable de entorno:

 export OPENAI_API_KEY= < OPENAI_KEY >

Luego ejecuta el repl:

llm-repl

O si desea usar un modelo específico:

llm-repl --llm chatgpt4

Correr dentro de Docker

docker run -it --rm -e OPENAI_API_KEY= < OPENAI_KEY > phate/llm-repl

O si desea obtener las variables de entorno de un archivo, primero cree un archivo llamado .env con el siguiente contenido:

OPENAI_API_KEY= < OPENAI_KEY >

Y luego ejecute el siguiente comando:

docker run -it --rm --env-file .env phate/llm-repl

Desarrollo

Para instalar el modo de desarrollo de replicación

Luego instale el paquete en modo de desarrollo:

pip install -e " .[DEV] "

Antes de contribuir, asegúrese de ejecutar los siguientes comandos:

pre-commit install