LLMWebCrawler

LLM-basierter Webcrawler

Ein skalierbarer Webcrawler, hier eine Liste der Funktionen dieses Crawlers:

• Dieser Dienst kann rekursiv die Webspeicherlinks IT -Text und die entsprechende Texteinbettung kriechen.
• Wir verwenden ein großes Sprachmodell (z. B. Bert), um die Texteinbettungen zu erhalten, dh eine Vektordarstellung des in jeder Webiste vorhandenen Text.
• Der Service ist skalierbar, wir nutzen Strahl, um sich auf mehrere Arbeiter zu verbreiten.
• Die Einträge werden in einer Vektor -Datenbank gespeichert. Vektordatenbanken sind ideal, um Proben gemäß einer Vektordarstellung zu speichern und abzurufen.

Durch das Speichern der Darstellungen in einer Vektor -Datenbank können Sie ähnliche Seiten gemäß der engen zwei Vektoren abrufen. Dies ist für einen Browser von entscheidender Bedeutung, um die relevantesten Ergebnisse abzurufen.

Cli

Führen Sie den Crawler mit dem Terminal aus:

$ python cli_crawl.py --help

options:
  -h, --help            show this help message and exit
  -u INITIAL_URLS [INITIAL_URLS ...], --initial-urls INITIAL_URLS [INITIAL_URLS ...]
  -lm LANGUAGE_MODEL, --language-model LANGUAGE_MODEL
  -m MAX_DEPTH, --max-depth MAX_DEPTH

API

Gastgeber der API mit uvicorn und FastAPI .

uvicorn api_app:app --host 0.0.0.0 --port 80

Schauen Sie sich das Beispiel in start_api_and_head_node.sh . Beachten Sie, dass die Ray -Kopfknoten zuerst initialisiert werden müssen.

Großsprachige Modell

Für unseren Anwendungsfall verwenden wir einfach Bert -Modell, das implementiert ist, indem wir Einbettungen aus dem Webtext extrahieren. Genauer gesagt verwenden wir Bert-Base-Unbekannte. Beachten Sie, dass der Code agnostisch ist und neue Modelle registriert und mit wenigen Codezeilen hinzugefügt werden können. Schauen Sie sich llm/best.py an.

Speichern von Krabbendaten

Wir verwenden Milvus als unsere Hauptdatenbankadministratorsoftware. Wir verwenden eine Datenbank im Vektorstil, da sie die Erbfähigkeit des Suchens und Speicherns von Einträgen auf der Grundlage von Vektordarstellungen (Einbettungen) basieren.

Milvus Lite

Starten Sie Ihren eigenständigen Milvus -Server wie folgt. Ich schlage vor, eine Multiplexer -Software wie tmux zu verwenden:

tmux new -s milvus
milvus-server

Schauen Sie sich einen Blick unter scripts/ um einige der grundlegenden Anfragen nach Milvus zu sehen.

Docker komponieren

Sie können auch die offizielle docker compose -Vorlage verwenden:

docker compose --file milvus-docker-compose.yml up -d

Parallele Berechnung

Wir verwenden Ray, ist ein großartiges Python -Framework, um eine verteilte und parallele Verarbeitung auszuführen. Ray folgt dem Master-Worker-Paradigma, bei dem ein head die Aufgaben anfordern, an die angeschlossenen Arbeiter ausgeführt zu werden.

Starten Sie den Kopf und die Arbeiterknoten in Strahl

Kopfknoten

1. Richten Sie den Kopfknoten ein

ray start --head

2. Verbinden Sie Ihr Programm mit dem Kopfknoten

 import ray

# Connect to the head
ray . init ( "auto" )

Falls Sie den Ray -Knoten stoppen möchten:

ray stop

Oder den Status überprüfen:

ray status

Arbeiterknoten

1. Initialisieren Sie den Arbeiterknoten

ray start

Der Arbeiterknoten muss nicht die Code -Implementierung haben, da der Hauptknoten die Argumente und Implementierung an die Arbeitnehmer serialisieren und übermittelt.

Zukünftige Funktionen

Die aktuelle Implementierung ist ein POC. Viele Verbesserungen können vorgenommen werden:

• [Wichtig] neuer Einstiegspunkt in der API zur Suche nach ähnlicher URL gegebener Text.
• Optimieren Sie die Suche und API.
• Hinzufügen neuer LLMS -Modelle und neuen Chunking -Strategien mit beliebten Bibliotheken, z. B. Langchain.
• Wenn Sie mehr Funktionen im Vektor DB speichern, erzeugen möglicherweise Zusammenfassungen.

Beitragen

Alle Ausgaben und PRs sind willkommen?

Referenz

• Strahldokumentation
• Milvus
• Fastapi
• Umarmung