LLMWebCrawler

Web Crawler con sede en LLM

Un rastreador web escalable, aquí una lista de la característica de este rastreador:

• Este servicio puede rastrear recursivamente en los enlaces de almacenamiento web de su texto y la incrustación de texto correspondiente.
• Utilizamos un modelo de lenguaje grande (por ejemplo, BERT) para obtener los incrustaciones de texto, es decir, una representación vectorial del texto presente en cada webiste.
• El servicio es escalable, usamos Ray para extenderse entre múltiples trabajadores.
• Las entradas se almacenan en una base de datos vectorial. Las bases de datos vectoriales son ideales para guardar y recuperar muestras de acuerdo con una representación vectorial.

Al guardar las representaciones en una base de datos vectorial, puede recuperar páginas similares de acuerdo con lo cercanos que están los dos vectores. Esto es crítico para un navegador para recuperar los resultados más relevantes.

CLI

Ejecute el rastreador con el terminal:

$ python cli_crawl.py --help

options:
  -h, --help            show this help message and exit
  -u INITIAL_URLS [INITIAL_URLS ...], --initial-urls INITIAL_URLS [INITIAL_URLS ...]
  -lm LANGUAGE_MODEL, --language-model LANGUAGE_MODEL
  -m MAX_DEPTH, --max-depth MAX_DEPTH

API

Organice la API con uvicorn y FastAPI .

uvicorn api_app:app --host 0.0.0.0 --port 80

Eche un vistazo al ejemplo en start_api_and_head_node.sh . Tenga en cuenta que los nodos de la cabeza de rayos deben inicializarse primero.

Modelo de lenguaje grande

Para nuestro caso de uso, simplemente utilizamos el modelo Bert implementado por Huggingface para extraer incrustaciones del texto web. Más precisamente, usamos Bert-Base-Inscase. Tenga en cuenta que el código es agnóstico y que los nuevos modelos podrían registrarse y agregar con pocas líneas de código, eche un vistazo a llm/best.py .

Guardar datos rastreados

Utilizamos Milvus como nuestro software de administrador de base de datos principal. Utilizamos una base de datos de estilo vectorial debido a su capacidad hereditaria de buscar y ahorrar entradas basadas en representaciones vectoriales (incrustaciones).

Milvus Lite

Inicie su servidor Milvus independiente de la siguiente manera, sugiero usar un software multiplexor como tmux :

tmux new -s milvus
milvus-server

Eche un vistazo bajo scripts/ para ver algunas de las solicitudes básicas a Milvus.

Docker componer

También puede usar la plantilla oficial docker compose :

docker compose --file milvus-docker-compose.yml up -d

Cálculo paralelo

Usamos Ray, es un excelente marco de Python para ejecutar procesamiento distribuido y paralelo. Ray sigue el paradigma del trabajador maestro, donde un nodo head solicitará que las tareas se ejecuten a los trabajadores conectados.

Inicie la cabeza y los nodos de los trabajadores en Ray

Nodo

1. Configurar el nodo principal

ray start --head

2. Conecte su programa al nodo principal

 import ray

# Connect to the head
ray . init ( "auto" )

En caso de que desee detener el nodo Ray:

ray stop

O verificar el estado:

ray status

Nodo de trabajador

1. Inicializar el nodo del trabajador

ray start

El nodo del trabajador no necesita tener la implementación del código, ya que el nodo principal se serializará y enviará los argumentos e implementación a los trabajadores.

Características futuras

La implementación actual es un POC. Se pueden hacer muchas mejoras:

• [IMPORTANTE] Nuevo punto de entrada en la API para buscar un texto similar a URL.
• Optimizar la búsqueda y la API.
• Agregar nuevos modelos LLMS y nuevas estrategias de fragmentación con bibliotecas populares, por ejemplo, Langchain.
• Almacenamiento de más características en el Vector DB, tal vez, genere resúmenes.

Que contribuye

¿Todos los problemas y PR son bienvenidos?

Referencia

• Documentación de rayos
• Milvus
• Fastapi
• Cara de abrazo