LLMWebCrawler

Crawler Web basé sur LLM

Un robot Web évolutif, ici une liste de la fonctionnalité de cet robot:

• Ce service peut ramper récursivement les liens de stockage Web dans son texte et l'intégration du texte correspondant.
• Nous utilisons un modèle grand langage (par exemple Bert) pour obtenir les incorporations de texte, c'est-à-dire une représentation vectorielle du texte présent à chaque webiste.
• Le service est évolutif, nous utilisons Ray pour se propager sur plusieurs travailleurs.
• Les entrées sont stockées dans une base de données vectorielle. Les bases de données vectorielles sont idéales pour enregistrer et récupérer des échantillons en fonction d'une représentation vectorielle.

En enregistrant les représentations dans une base de données vectorielle, vous pouvez récupérer des pages similaires en fonction de la proximité de deux vecteurs. Ceci est essentiel pour un navigateur pour récupérer les résultats les plus pertinents.

CLI

Exécutez le Crawler avec le terminal:

$ python cli_crawl.py --help

options:
  -h, --help            show this help message and exit
  -u INITIAL_URLS [INITIAL_URLS ...], --initial-urls INITIAL_URLS [INITIAL_URLS ...]
  -lm LANGUAGE_MODEL, --language-model LANGUAGE_MODEL
  -m MAX_DEPTH, --max-depth MAX_DEPTH

API

Hébergez l'API avec uvicorn et FastAPI .

uvicorn api_app:app --host 0.0.0.0 --port 80

Jetez un œil à l'exemple de start_api_and_head_node.sh . Notez que les nœuds de tête de rayon doivent être initialisés en premier.

Modèle de grande langue

Pour notre cas d'utilisation, nous utilisons simplement le modèle Bert implémenté en étreignant pour extraire des intégres du texte Web. Plus précisément, nous utilisons Bert-Base-Scaleslé. Notez que le code est agnostique et que les nouveaux modèles pourraient être enregistrés et ajoutés avec quelques lignes de code, jetez un œil à llm/best.py

Économiser des données rampantes

Nous utilisons Milvus comme principal logiciel administrateur de la base de données. Nous utilisons une base de données de style vecteur en raison de sa capacité héritée de recherche et enregistre des entrées en fonction des représentations vectorielles (intégres).

Milvus lite

Démarrez votre serveur Milvus autonome comme suit, je suggère d'utiliser un logiciel multiplexeur tel que tmux :

tmux new -s milvus
milvus-server

Jetez un œil sous scripts/ pour voir certaines des demandes de base de Milvus.

Docker

Vous pouvez également utiliser le modèle officiel docker compose :

docker compose --file milvus-docker-compose.yml up -d

Calcul parallèle

Nous utilisons Ray, est un excellent cadre Python pour exécuter un traitement distribué et parallèle. Ray suit le paradigme du maître-travailleur, où un nœud head demandera des tâches à exécuter aux travailleurs connectés.

Démarrez la tête et les nœuds de travailleur dans Ray

Nœud de tête

1. Configurer le nœud de tête

ray start --head

2. Connectez votre programme au nœud Head

 import ray

# Connect to the head
ray . init ( "auto" )

Dans le cas où vous souhaitez arrêter le nœud Ray:

ray stop

Ou vérifier le statut:

ray status

Nœud de travailleur

1. Initialiser le nœud des travailleurs

ray start

Le nœud de travailleur n'a pas besoin d'avoir l'implémentation du code car le nœud de tête sérialisera et soumettra les arguments et la mise en œuvre aux travailleurs.

Caractéristiques futures

L'implémentation actuelle est un POC. De nombreuses améliorations peuvent être apportées:

• [IMPORTANT] Nouveau point d'entrée dans l'API pour rechercher un texte URL similaire.
• Optimiser la recherche et l'API.
• Ajout de nouveaux modèles LLMS et de nouvelles stratégies de section avec des bibliothèques populaires, par exemple Langchain.
• Le stockage de plus de fonctionnalités dans la DB vectorielle, peut-être, génèrent des résumés.

Contributif

Tous les problèmes et PRS sont les bienvenus ?.

Référence

• Documentation des rayons
• Milvus
• Fastapi
• Étreinte