LLM Repl

Llm repl

O que é isso?

O objetivo deste projeto é criar uma repl (leitura-deval-impressão de leitura) que permita que os usuários interajam com uma variedade de modelos de idiomas grandes ( LLMS ). O projeto é construído principalmente sobre duas bibliotecas Python: Langchain, que fornece uma interface conveniente e flexível para trabalhar com LLMS e Rich, que fornece uma interface amigável para o REPL. O REPL também pode ser iniciado no modo HeadledSS e pode ser interagido com o uso do WebSocket .

Atualmente, o projeto está em desenvolvimento e suporta apenas a interação com o ChatGPT, mas tem sido uma estrutura para facilitar a extensão de que ele use qualquer LLMS, incluindo os personalizados (estendendo BaseLLM em ./src/llm_repl/llms/__init__.py ).

O ChatGPT pode ser interagido usando os modelos gpt-3.5-turbo e gpt4 (para usuários que obtiveram API GPT-4 beta).

Características

O Repl suporta os seguintes recursos:

Modo de streaming

O REPL não espera o modelo terminar de gerar a saída, mas começará a imprimir a saída assim que estiver disponível.

Memória de conversa

O Repl suporta memória de conversa. Isso significa que o modelo se lembrará da conversa anterior e a usará para gerar a próxima resposta.

Impressão bonita

O REPL suporta o render a renderização da entrada e da saída.

PS: Nesta versão inicial do REPL, a sintaxe total de marcação é somente ao executar a ferramenta no modo de non-streaming . No modo streaming somente as seções de código serão bastante impressas.

Modo sem cabeça

O REPL pode ser executado no modo sem cabeça. Isso significa que ele pode ser interagido com o uso de um webSocket. Isso é útil para integrar o Repl a outros aplicativos / outras UIs.

Para iniciar o REPL no modo sem cabeça, execute o seguinte comando:

llm-repl --repl websocket --port < PORT >

Modelo de alternância em tempo real

EM BREVE...

Histórico de conversas

EM BREVE...

Instalação

pip install llm-repl

Uso

Primeiro exporte sua chave da API OpenAI como uma variável de ambiente:

 export OPENAI_API_KEY= < OPENAI_KEY >

Em seguida, execute o REPL:

llm-repl

Ou se você quiser usar um modelo específico:

llm-repl --llm chatgpt4

Corra dentro do Docker

docker run -it --rm -e OPENAI_API_KEY= < OPENAI_KEY > phate/llm-repl

Ou se você deseja obter as variáveis ​​de ambiente de um arquivo, primeiro crie um arquivo chamado .env com o seguinte conteúdo:

OPENAI_API_KEY= < OPENAI_KEY >

E depois execute o seguinte comando:

docker run -it --rm --env-file .env phate/llm-repl

Desenvolvimento

Para instalar o REPL no modo de desenvolvimento

Em seguida, instale o pacote no modo de desenvolvimento:

pip install -e " .[DEV] "

Antes de contribuir, certifique -se de executar os seguintes comandos:

pre-commit install