Local LLM Langchain

Записная книжка для местных LLMS

Цель этого проекта состоит в том, чтобы позволить пользователям легко загружать свои локально размещенные языковые модели в ноутбуке для тестирования с Langchain. В настоящее время доступно три ноутбука. Двое из них используют API для создания пользовательской обертки LANGCHAIN ​​LLM - одной для веб -интерфейса Text Generation's Obabooga, а другой - для Koboldai. Третий ноутбук загружает модели без API, используя виртуальную среду и модули Text Generation-Generation oobabooga и модули для загрузки модели.

В итоге вы получите экземпляр пользовательской обертки LLM, который можно использовать для создания текста:

llm("prompt goes here")

Вы можете использовать это вместо класса Openai LLM, который вы видите, используемые в большинстве руководств и документации.

Начиная

Пожалуйста, следуйте инструкциям по настройке для API, представленных в их соответствующих репозиториях. Просто обновите переменную URL с помощью вашего URL -адреса API, затем запустите ячейки, чтобы создать экземпляр пользовательской обертки LLM.

Дорожная карта

Использование API теперь является моим предпочтительным методом загрузки моделей. Я планирую улучшить классы API/ноутбуки, но сейчас они работают довольно хорошо. Я пока оставляю материал без AAPI, но я не буду активно поддерживать их в будущем, так что все может сломаться.

Инструкции по ноутбуку без AAPI:

1. Активируйте среду Python или Conda.
2. Установите ноутбук Jupyter, запустив pip install jupyter в вашу предпочтительную командную строку или терминал.
3. Перезагрузите свою командную строку или терминал, чтобы убедиться, что установка правильно настроена.
4. Активируйте свою среду Python или Conda снова и запустите jupyter notebook в командной строке или терминале, чтобы запустить интерфейс Jupyter.
5. Перейдите к каталогу, где находится Non-API-Notebook.ipynb (пользователи OOBA помещают его в ./text-generation-webui/ и откройте ноутбук в интерфейсе Jupyter.