LLM Repl

LLM Repl

Что это?

Цель этого проекта состоит в том, чтобы создать простую интерактивную Repl (чтение-эвер-печать), которая позволяет пользователям взаимодействовать с различными крупными языковыми моделями ( LLMS ). Проект в основном построен в верхней части двух библиотек Python: Langchain, который обеспечивает удобный и гибкий интерфейс для работы с LLMS, и Rich, который обеспечивает удобный интерфейс для Repl. Repl также может быть запущена в режиме Headledss , и ее можно взаимодействовать с использованием WebSocket .

В настоящее время проект находится в разработке и поддерживает только взаимодействие с CHATGPT, но это было структуру, чтобы облегчить расширение его использования любых LLMS, включая пользовательские (путем расширения BaseLLM в ./src/llm_repl/llms/__init__.py ).

CHATGPT можно взаимодействовать с использованием моделей gpt-3.5-turbo и gpt4 (для пользователей, которые получили GPT-4 API бета).

Функции

Реплика поддерживает следующие функции:

Потоковой режим

Реплика не будет ждать, пока модель завершит генерирование вывода, но она начнет печатать выход, как только она будет доступна.

Память разговора

Реплика поддерживает память разговора. Это означает, что модель запомнит предыдущий разговор и будет использовать его для создания следующего ответа.

Красивая печать

Reply поддерживает маркировку рендеринга как ввода, так и вывода.

PS: В этой первоначальной версии SPEP-файла синтаксис полной маркировки находится только при запуске инструмента в режиме non-streaming . В режиме streaming только разделы кода будут красивыми.

Безголовный режим

Реплика можно запустить в режиме без головы. Это означает, что его можно взаимодействовать с использованием WebSocket. Это полезно для интеграции SPEP с другими приложениями / другими интерфейсами.

Чтобы запустить Repl в режиме без головы, запустите следующую команду:

llm-repl --repl websocket --port < PORT >

Модель переключения на лету

ВСКОРЕ...

История разговора

ВСКОРЕ...

Установка

pip install llm-repl

Использование

Сначала экспортируйте свой ключ API OpenAI в качестве переменной среды:

 export OPENAI_API_KEY= < OPENAI_KEY >

Затем запустите реплику:

llm-repl

Или если вы хотите использовать конкретную модель:

llm-repl --llm chatgpt4

Беги внутри Docker

docker run -it --rm -e OPENAI_API_KEY= < OPENAI_KEY > phate/llm-repl

Или, если вы хотите получить переменные среды из файла, сначала создайте файл с названием .env с следующим контентом:

OPENAI_API_KEY= < OPENAI_KEY >

А затем запустите следующую команду:

docker run -it --rm --env-file .env phate/llm-repl

Разработка

Чтобы установить перепис в режиме разработки

Затем установите пакет в режиме разработки:

pip install -e " .[DEV] "

Прежде чем внести свой вклад, пожалуйста, запустите следующие команды:

pre-commit install