Download Build RAGAI - download de código fonte Build RAGAI

Build RAGAI

Componentes de terceiros

1.0.0

Baixar

Build-ragai

Descrição

Este projeto busca ensinar você a criar aplicativos Python com funcionalidade generativa de IA usando as bibliotecas Langchain e Transformers.

Embora exista uma seção para o OpenAI, a maioria do código que existia anteriormente foi reaproveitado e integrado às bibliotecas Langchain ou Transformers. Este projeto inclui trechos de código, exemplos de pacotes e notebooks Jupyter que você pode aumentar, copiar ou aprender respectivamente.

Se você é novo na criação de aplicativos movidos a IA, sugiro que você comece tocando e executando o código nos cadernos Langchain. Ver o código em ação, editá -lo e criar um brainstorming de novas idéias é a melhor maneira de aprender.

Índice

Abaixo, você encontrará links e descrições de seções deste projeto para facilitar a navegação.

Este readme:

Começando
Instalação
Licença

Langchain:

Trechos de código: aqui você encontrará componentes python flugable.
- bufferwindow_memory.py: um componente de memória simples que pode ser usado em uma conversa de Langchain.
- Chatopenai.py: Um componente LLM simples que pode ser usado para retornar mensagens de bate -papo.
- Multi_Queryvector_retrieval.py: um componente Retriever avançado que combina o poder da recuperação multi-intercalada e multi-vetor.
Notebooks: Aqui você encontrará notebooks Jupyter que o guiam através do uso de muitas classes de Langchain diferentes.
- MergedDataloader: Aprenda a incorporar e consultar várias fontes de dados via MergedDataLoader . Neste caderno, aprendemos a clonar os repositórios do Github e raspar a documentação da Web antes de incorporá -los a um vetorial que usamos como retriever. No final, você deve se sentir confortável usando as fontes como contexto em seus próprios projetos de pano.
- Ferramentas personalizadas: aprenda a criar e usar ferramentas personalizadas em agentes Langchain.
- Geração de imagens e legenda + geração de vídeo: Aprenda a criar um agente que escolhe qual ferramenta generativa usar com base no seu prompt. Este exemplo começa com o agente gerando uma imagem após refinar o prompt do usuário.
- Passo a passo de Langsmith: Aprenda a usar o rastreamento de Langsmith e puxe os prompts do hub de Langsmith.
- Geração aumentada de recuperação: comece a geração aumentada de recuperação para melhorar o desempenho do seu LLM.
- Rag de MongoDB: Execute a pesquisa de similaridade, a filtragem de metadados e a resposta a perguntas com o MongoDB.
- Pinecone e Chromadb: Uma explicação mais básica, mas completa, da realização da geração aumentada de recuperação com duas vezes diferentes.
- FAISS e The HuggingFaceHub: Aprenda a usar índices FAISS para pesquisa de similaridade com incorporações HuggingFaceHub. Este exemplo é uma opção amigável à privacidade, pois tudo funciona localmente. Não é necessário GPU!
- Runnables and Chains (Langchain Expression Language): Aprenda a diferença e como usar o Runnables and Chains em Langchain. Aqui você vai mergulhar profundamente em seus detalhes.
Exemplos de ponta a ponta: Aqui você encontrará scripts feitos para trabalhar fora da caixa.
- RAG com agentes: Aprenda a usar agentes para RAG.
  - Simplit chatbot: um chatbot simples de streamlit usando o OpenAI.
  - Carregador de diretório: use a classe DirectoryLoader para carregar arquivos para consulta.
  - Carregador de diretório PypDF: use a classe PypdfDirectoryLoader para carregar arquivos para consulta.
  - Pesquisa de similaridade da AI do Facebook: use a classe FacebookAISimilaritySearch para carregar arquivos para consulta.
  - Vectorstore RAB: Aprenda a usar o VectorStores em Langchain.
  - Pinecone: use um banco de dados vetorial Pinecone "Index" como um retriever e converse com seus documentos.

Openai:

Flugets de código: Aqui você encontrará trechos de código usando a Biblioteca Python OpenAI.
- Texto para a fala: use a API Whisper para gerar fala a partir de texto.
Notebooks: Aqui você encontrará notebooks Jupyter que mostram como usar a Biblioteca Openai Python.
- Geração aumentada de recuperação: comece com a geração aumentada de recuperação e pinecone para melhorar o desempenho do seu LLM.

Transformadores:

Flugets de código: Aqui você encontrará trechos de código usando a Biblioteca Python Transformers.
- Mixtral de golfinhos: uma função simples para gerar texto usando pipeline .
Notebooks: Aqui você encontrará notebooks Jupyter que mostram como usar a Biblioteca Python Transformers.
- Reconhecimento automático da fala: transcreva a fala usando o Whisper-V3 em uma demonstração de graduação.
Pacotes: Aqui você encontrará aplicativos CLI.
- Transcrição de áudio:
  - Mictranscrição: Transcrenda áudio usando um microfone.
  - Criação de tarefas: gera tarefas com base no áudio transcrito.
- Treine com acelerar: ajuste o modelo de classificação de sequência usando acelerar para fazer as coisas irem mais rápido.

Começando

Instalação

Execução e teste de código local

Este projeto é desenvolvido usando o PDM. Você pode instalar o PDM usando pip :

Comece navegando para o diretório raiz deste projeto, depois execute:

pip install -U pdm

Em seguida, você precisará instalar as dependências usando o PDM:

pdm install

Este comando criará um ambiente virtual no .venv e instalará as dependências nesse ambiente. Se você estiver no MacOS ou Linux, poderá executar source .venv/bin/activate para ativar o ambiente. Caso contrário, você pode executar o comando .venv/Scripts/activate ou .venv/Scripts/activate.ps1 para ativar o ambiente.

Ao usar um ambiente virtual, evitamos o cruzamento contaminante do nosso ambiente global de Python.

Depois que nosso ambiente virtual estiver configurado, precisamos selecioná -lo como nosso kernel para o notebook Jupyter. Se você estiver no vscode, pode fazer isso no canto superior direito do notebook. Se você estiver usando um IDE diferente, precisará procurar ajuda online.

Ao selecionar o kernel, certifique -se de escolher o que está localizado dentro do diretório .venv , e não o ambiente global do Python.

Teste seu primeiro caderno

Se você é totalmente novo na criação de aplicativos alimentados por IA com acesso a dados externos, especificamente a geração aumentada de recuperação, confira o notebook básico do RAG. É o caderno mais simples, e seus conceitos são construídos em todos os outros notebooks 'Rag'.