LLM Repl

llm repl

这是什么？

该项目的目的是创建一个简单的交互式REPL （read-eval-print-loop），使用户可以与各种大型语言模型（ LLMS ）进行交互。该项目主要构建在两个Python库的顶部：Langchain，它为与LLMS合作提供了方便且灵活的界面，并为REPL提供了一个用户友好的接口。 DEPP也可以在HeadledSS模式下启动，并且可以与使用WebSocket进行交互。

目前，该项目正在开发中，仅支持与ChatGpt的互动，但是结构很容易扩展使用任何LLM，包括自定义的LLM（通过扩展BaseLLM In ./src/llm_repl/llms/__init__.py ）。

可以使用型号gpt-3.5-turbo和gpt4 （对于获得GPT-4 API beta的用户）来进行交互。

特征

REPL支持以下功能：

流模式

REPL不会等待模型完成产生输出，但是它将在可用后立即开始打印。

对话记忆

REPL支持对话记忆。这意味着该模型将记住以前的对话，并将使用它来生成下一个响应。

漂亮的印刷

REPL支持Markdown渲染输入和输出。

PS：在此初始版本的替代版本中，只有在以non-streaming模式运行工具时，完整的降价语法才是。在streaming模式下，只有代码部分才能打印出来。

无头模式

可以以无头模式运行重复。这意味着它可以与使用Websocket进行交互。这对于将REPL与其他应用程序 /其他UI集成在一起很有用。

要以无头模式启动repl，请运行以下命令：

llm-repl --repl websocket --port < PORT >

模型开关

即将推出...

对话历史

即将推出...

安装

pip install llm-repl

用法

首先将OpenAI API密钥导出为环境变量：

 export OPENAI_API_KEY= < OPENAI_KEY >

然后运行repl：

llm-repl

或者如果要使用特定模型：

llm-repl --llm chatgpt4

在Docker中运行

docker run -it --rm -e OPENAI_API_KEY= < OPENAI_KEY > phate/llm-repl

或者，如果要从文件中摘录环境变量，请首先创建一个名为.env的文件，其中包含以下内容：

OPENAI_API_KEY= < OPENAI_KEY >

然后运行以下命令：

docker run -it --rm --env-file .env phate/llm-repl

发展

在开发模式下安装重复

然后在开发模式下安装软件包：

pip install -e " .[DEV] "

在贡献之前，请确保运行以下命令：

pre-commit install