Local LLM Langchain

Notebook para LLMs locais

O objetivo deste projeto é permitir que os usuários carreguem facilmente seus modelos de idiomas hospedados localmente em um notebook para testar com Langchain. Atualmente, existem três cadernos disponíveis. Dois deles usam uma API para criar um invólucro personalizado do Langchain LLM - um para a interface da web de geração de texto de Oobabooga e a outra para Koboldai. O terceiro notebook carrega os modelos sem uma API, aproveitando o ambiente virtual e módulos de geração de geração text-webui do Oobabooga para carregamento do modelo.

Você acabará com uma instância do wrapper personalizado LLM que pode ser usado para gerar texto:

llm("prompt goes here")

Você pode usar isso em vez da classe Openai LLM que você vê usada na maioria dos guias e documentação.

Começando

Siga as instruções de configuração para as APIs fornecidas em seus respectivos repositórios. Basta atualizar a variável URL com o seu URL da API e executar as células para criar uma instância do wrapper personalizado LLM.

Roteiro

Usando a API agora é o meu método preferido para carregar os modelos. Eu pretendo melhorar as aulas/cadernos da API, mas, por enquanto, eles funcionam muito bem. Estou deixando as coisas que não são da API por enquanto, mas não as manterei ativamente no futuro, para que as coisas possam quebrar.

Instruções não-API no caderno:

1. Ative seu ambiente de python ou conda.
2. Instale o notebook Jupyter executando pip install jupyter no seu prompt de comando preferido ou terminal.
3. Reinicie seu prompt de comando ou terminal para garantir que a instalação esteja configurada corretamente.
4. Ative seu ambiente Python ou CONDA novamente e execute jupyter notebook no prompt de comando ou terminal para iniciar a interface Jupyter.
5. Navegue até o diretório em que Non-API-Notebook.ipynb está localizado (os usuários do OOBA o colocam ./text-generation-webui/ e abra o notebook na interface Jupyter.