LLM Repl
1.0.0
このプロジェクトの目標は、ユーザーがさまざまな大手言語モデル（ LLM ）と対話できるシンプルでインタラクティブなREPL （Read-Eval-Print-Loop）を作成することです。このプロジェクトは、主に2つのPythonライブラリの上に構築されています。Langchainは、LLMSを操作するための便利で柔軟なインターフェイスを提供し、REPLにユーザーフレンドリーなインターフェイスを提供するRichです。 REPLはHeadledssモードで起動することもでき、 WebSocketを使用して対話できます。
現在、このプロジェクトは開発中であり、ChatGPTとの相互作用のみをサポートしていますが、カスタムを含むLLMを使用することを容易に拡張できる構造でした（ ./src/llm_repl/llms/__init__.pyでBaseLLM拡張することにより）。
CHATGPTはgpt-3.5-turboおよびgpt4モデル（GPT-4 APIベータ版を取得したユーザー向け）を使用して相互作用できます。
REPLは次の機能をサポートしています。
REPLは、モデルが出力の生成が終了するのを待つことはありませんが、利用可能になり次第、出力の印刷を開始します。
REPLは会話のメモリをサポートします。これは、モデルが以前の会話を覚えており、それを使用して次の応答を生成することを意味します。
REPLは、入力と出力の両方をマークダウンレンダリングします。
PS：REPLのこの初期バージョンでは、フルマークダウン構文は、ツールをnon-streamingモードで実行するときのみです。 streamingモードでは、コードセクションのみがかなり印刷されます。
REPLはヘッドレスモードで実行できます。これは、WebSocketを使用して対話できることを意味します。これは、REPLを他のアプリケーション /他のUIと統合するのに役立ちます。
ヘッドレスモードでREPLを起動するには、次のコマンドを実行します。
llm-repl --repl websocket --port < PORT >近日公開...
近日公開...
pip install llm-repl最初にOpenAI APIキーを環境変数としてエクスポートします。
export OPENAI_API_KEY= < OPENAI_KEY >次に、REPLを実行します：
llm-replまたは、特定のモデルを使用する場合：
llm-repl --llm chatgpt4docker run -it --rm -e OPENAI_API_KEY= < OPENAI_KEY > phate/llm-replまたは、ファイルから環境変数を調達する場合は、最初に次のコンテンツを持つ.envというファイルを作成します。
OPENAI_API_KEY= < OPENAI_KEY >次に、次のコマンドを実行します。
docker run -it --rm --env-file .env phate/llm-replREPLを開発モードにインストールします
次に、開発モードにパッケージをインストールします。
pip install -e " .[DEV] "貢献する前に、次のコマンドを実行してください。
pre-commit install
