LLMWebCrawler

Crawler da Web baseado em LLM

Um rastreador escalável da web, aqui uma lista do recurso deste rastreador:

• Este serviço pode rastrear recursivamente os links de armazenamento da web e o texto e o texto correspondente incorporando.
• Usamos um modelo de idioma grande (por exemplo, Bert) para obter as incorporações de texto, ou seja, uma representação vetorial do texto presente em cada webiste.
• O serviço é escalável, usamos Ray para se espalhar por vários trabalhadores.
• As entradas são armazenadas em um banco de dados vetorial. Os bancos de dados vetoriais são ideais para salvar e recuperar amostras de acordo com uma representação vetorial.

Ao salvar as representações em um banco de dados vetorial, você pode recuperar páginas semelhantes de acordo com a proximidade de dois vetores. Isso é fundamental para um navegador recuperar os resultados mais relevantes.

CLI

Execute o rastreador com o terminal:

$ python cli_crawl.py --help

options:
  -h, --help            show this help message and exit
  -u INITIAL_URLS [INITIAL_URLS ...], --initial-urls INITIAL_URLS [INITIAL_URLS ...]
  -lm LANGUAGE_MODEL, --language-model LANGUAGE_MODEL
  -m MAX_DEPTH, --max-depth MAX_DEPTH

API

Hospedar a API com uvicorn e FastAPI .

uvicorn api_app:app --host 0.0.0.0 --port 80

Dê uma olhada no exemplo em start_api_and_head_node.sh . Observe que os nós da cabeça do raio precisam ser inicializados primeiro.

Modelo de linguagem grande

Para o nosso caso de uso, simplesmente usamos o modelo BERT implementado pelo HuggingFace para extrair incorporação do texto da web. Mais precisamente, usamos o Bert-Base-ANSed. Observe que o código é agnóstico e os modelos novos podem ser registrados e adicionados com poucas linhas de código, dê uma olhada no llm/best.py .

Salvar dados rastejados

Usamos o MILVUS como nosso principal software de administrador de banco de dados. Utilizamos um banco de dados em estilo vetorial devido à sua capacidade herdada de pesquisar e salvar entradas com base em representações vetoriais (incorporação).

Milvus Lite

Inicie seu servidor Milvus independente da seguinte forma, sugiro usar um software multiplexador como tmux :

tmux new -s milvus
milvus-server

Dê uma olhada nos scripts/ para ver algumas das solicitações básicas para Milvus.

Docker compor

Você também pode usar o modelo oficial docker compose :

docker compose --file milvus-docker-compose.yml up -d

Computação paralela

Usamos Ray, é uma ótima estrutura Python para executar o processamento distribuído e paralelo. Ray segue o paradigma de trabalho mestre, onde um nó head solicitará que as tarefas sejam executadas aos trabalhadores conectados.

Comece a cabeça e os nós do trabalhador em raio

Nó da cabeça

1. Configure o nó da cabeça

ray start --head

2. Conecte seu programa ao nó da cabeça

 import ray

# Connect to the head
ray . init ( "auto" )

Caso você queira parar o nó raio:

ray stop

Ou verificar o status:

ray status

Nó do trabalhador

1. Inicialize o nó do trabalhador

ray start

O nó do trabalhador não precisa ter a implementação do código, pois o nó principal serializará e enviará os argumentos e a implementação aos trabalhadores.

Características futuras

A implementação atual é um POC. Muitas melhorias podem ser feitas:

• [IMPORTANTE] Novo ponto de entrada na API para pesquisar URL semelhante dado texto.
• Otimize a pesquisa e a API.
• Adicionando novos modelos LLMS e novas estratégias de chunking com bibliotecas populares, por exemplo, Langchain.
• Armazenar mais recursos no db vetorial, talvez, gerar resumos.

Contribuindo

Todos os problemas e PRs são bem -vindos?

Referência

• Documentação de Ray
• Milvus
• FASTAPI
• Huggingface