langsearch

LangSearch: Crie facilmente aplicativos LLM baseados em pesquisa semântica

O que é isso?

O LangSearch é um pacote Python para geração aumentada de recuperação (RAG), que é útil para aproveitar o poder de grandes modelos de idiomas (LLMS), como o ChatGPT em dados não públicos. Ao contrário de outros pacotes que apenas cuidam da recuperação e da geração, este pacote também cuida da descoberta de dados (por exemplo, rastreamento), a persistência dos dados (para atualizar os dados conforme muda) e o pré -processamento de dados. Isso significa que você pode começar rapidamente com casos de uso do mundo real, com muito pouco encanamento.

Este pacote fica sobre os ombros dos gigantes e usa os seguintes pacotes python bem conhecidos e ferramentas de código aberto para fazer o levantamento pesado.

• Scrapy para rastejar
• Apache tika para extração de texto (mais de 1000 tipos de mímica suportados)
• Legabilidade de Mozilla para redução de caldeira
• Inscriptis para extração de texto de HTML
• Whisper OpenAi para transcrição de áudio e vídeo
• Banco de dados vetorial tecelaviado para pesquisa semântica
• Langchain para Rag

O LangSearch é personalizável e extensível. Quase todos os aspectos são modificáveis ​​por meio de configurações. Ele também suporta a configuração de rastreadores personalizados e pré -processadores personalizados.

Mostre -me o código

Por exemplo, o código para fazer RAG na documentação de Langchain é simples.

crawler.py

 from langsearch . spiders import WebSpider


class Crawler ( WebSpider ):
    name = "langchain"

settings.py

 from langsearch . pipelines import assemble , DetectItemTypePipeline , GenericHTMLPipeline

LANGSEARCH_WEB_SPIDER_START_URLS = [ "https://python.langchain.com/docs/get_started/introduction" ]
LANGSEARCH_WEB_SPIDER_LINK_EXTRACTOR_ALLOW = [
    "https://python.langchain.com/docs/get_started" ,
    "https://python.langchain.com/docs/modules" ,
    "https://python.langchain.com/docs/guides" ,
    "https://python.langchain.com/docs/ecosystem" ,
    "https://python.langchain.com/docs/additional_resources"
]
AUTOTHROTTLE_ENABLED = True

ITEM_PIPELINES = {
    DetectItemTypePipeline : 100 ,
    ** assemble ( GenericHTMLPipeline )
}

Na linha de comando

 >>> from langsearch.chains import QAChain
>>> chain_output = QAChain()({"question": "How can I install langchain?"})
>>> print(chain_output["output_text"])
To install LangChain, you can use either conda or pip. 

If you prefer using conda, you can run the following command:

conda install langchain -c conda-forge

If you prefer using pip, there are two options depending on the modules you need. 

To install the modules needed for the common LLM providers, you can run:

pip install langchain[llms]

To install all modules needed for all integrations, you can run:

pip install langchain[all]

Note that if you are using zsh, you'll need to quote square brackets when passing them as an argument to a command. For example:

pip install 'langchain[all]'

Instalação

 pip install langsearch

Documentação

Nossa documentação (WIP) pode ser encontrada aqui. Exemplos de código estão na pasta examples de nível superior.

Características

1. Descoberta de dados automática e personalizável para sites e dados locais (rastreamento)
2. Suporte para mais de 1000 tipos de MIME, incluindo HTML, PDF, DOCX, TXT, PNG, MP3, MP4 etc.
3. As baterias incluíam oleodutos para pré -processamento de dados
4. Persistência de dados de rastreamento para que você possa permanecer com eficiência sincronizado com dados
5. Incorporação usando modelos text2vec-transformers (para texto) e modelos CLIP para imagens.
6. Métodos de RAG como QA simples e hyde

PENDÊNCIA

• Melhorar a documentação
• Escreva testes
• Faça oleoduto CI para linha, construção e teste
• Modelo de linguagem de ajuste fino nos dados recebidos
• Lidar com metadados e usá -lo na recuperação
• Permitir autenticação (login) antes do início do rastreamento
• Suporte PageRank + Score de similaridade vetorial + Combinações BM25
• Integração Frontera?
• GUI para configurações
• Detecção duplicada em imagens
• Métodos de conjunto no controle de qualidade

Contribuir

Estamos muito felizes em obter contribuições da comunidade. Sinta -se à vontade para experimentar o pacote, abra bugs, puxar solicitações (até mesmo melhorando a documentação ajuda muito). Você pode entrar em contato comigo a qualquer momento em [email protected] se precisar de ajuda.