LLM Repl

llm repl

這是什麼？

該項目的目的是創建一個簡單的交互式REPL （read-eval-print-loop），使用戶可以與各種大型語言模型（ LLMS ）進行交互。該項目主要構建在兩個Python庫的頂部：Langchain，它為與LLMS合作提供了方便且靈活的界面，並為REPL提供了一個用戶友好的接口。 DEPP也可以在HeadledSS模式下啟動，並且可以與使用WebSocket進行交互。

目前，該項目正在開發中，僅支持與ChatGpt的互動，但是結構很容易擴展使用任何LLM，包括自定義的LLM（通過擴展BaseLLM In ./src/llm_repl/llms/__init__.py ）。

可以使用型號gpt-3.5-turbo和gpt4 （對於獲得GPT-4 API beta的用戶）來進行交互。

特徵

REPL支持以下功能：

流模式

REPL不會等待模型完成產生輸出，但是它將在可用後立即開始打印。

對話記憶

REPL支持對話記憶。這意味著該模型將記住以前的對話，並將使用它來生成下一個響應。

漂亮的印刷

REPL支持Markdown渲染輸入和輸出。

PS：在此初始版本的替代版本中，只有在以non-streaming模式運行工具時，完整的降價語法才是。在streaming模式下，只有代碼部分才能打印出來。

無頭模式

可以以無頭模式運行重複。這意味著它可以與使用Websocket進行交互。這對於將REPL與其他應用程序 /其他UI集成在一起很有用。

要以無頭模式啟動repl，請運行以下命令：

llm-repl --repl websocket --port < PORT >

模型開關

即將推出...

對話歷史

即將推出...

安裝

pip install llm-repl

用法

首先將OpenAI API密鑰導出為環境變量：

 export OPENAI_API_KEY= < OPENAI_KEY >

然後運行repl：

llm-repl

或者如果要使用特定模型：

llm-repl --llm chatgpt4

在Docker中運行

docker run -it --rm -e OPENAI_API_KEY= < OPENAI_KEY > phate/llm-repl

或者，如果要從文件中摘錄環境變量，請首先創建一個名為.env的文件，其中包含以下內容：

OPENAI_API_KEY= < OPENAI_KEY >

然後運行以下命令：

docker run -it --rm --env-file .env phate/llm-repl

發展

在開發模式下安裝重複

然後在開發模式下安裝軟件包：

pip install -e " .[DEV] "

在貢獻之前，請確保運行以下命令：

pre-commit install