Local LLM Langchain

Cuaderno para LLM locales

El objetivo de este proyecto es permitir a los usuarios cargar fácilmente sus modelos de idioma alojados localmente en un cuaderno para probar con Langchain. Actualmente hay tres cuadernos disponibles. Dos de ellos usan una API para crear un envoltorio de LLM Langchain personalizado, uno para la interfaz de usuario de la generación de texto de Oobabooga y la otra para Koboldai. El tercer portátil carga los modelos sin una API aprovechando el entorno virtual y módulos virtuales de Webui de Generación de texto de Oobabooga para la carga del modelo.

Terminará con una instancia del envoltorio LLM personalizado que se puede usar para generar texto:

llm("prompt goes here")

Puede usar esto en lugar de la clase OpenAI LLM que ve que se usa en la mayoría de las guías y documentación.

Empezando

Siga las instrucciones de configuración para las API proporcionadas en sus respectivos repositorios. Simplemente actualice la variable de URL con su URL API y luego ejecute las celdas para crear una instancia del envoltorio LLM personalizado.

Hoja de ruta

El uso de la API ahora es mi método preferido para cargar los modelos. Planeo mejorar las clases/cuadernos API, pero por ahora, funcionan bastante bien. Dejo las cosas que no son API por ahora, pero no las mantendré activamente en el futuro, por lo que las cosas podrían romperse.

Instrucciones en el cuaderno que no son API:

1. Active su entorno Python o Conda.
2. Instale el cuaderno Jupyter ejecutando pip install jupyter en su símbolo o terminal preferido.
3. Reinicie su símbolo del sistema o terminal para asegurarse de que la instalación esté configurada correctamente.
4. Active su entorno Python o Conda nuevamente y ejecute jupyter notebook en el símbolo del sistema o el terminal para iniciar la interfaz Jupyter.
5. Navegue al directorio donde se encuentra Non-API-Notebook.ipynb (los usuarios de OOBA lo pusieron ./text-generation-webui/ y abren el cuaderno en la interfaz Jupyter.