LLMWebCrawler

Web Crawler berbasis LLM

Perayap web yang dapat diskalakan, di sini daftar fitur crawler ini:

• Layanan ini dapat merangkak secara rekursif tautan penyimpanan webnya teksnya dan embedding teks yang sesuai.
• Kami menggunakan model bahasa besar (misalnya Bert) untuk mendapatkan embeddings teks, yaitu representasi vektor dari teks yang ada di setiap webiste.
• Layanan ini dapat diskalakan, kami menggunakan Ray untuk menyebar ke banyak pekerja.
• Entri disimpan ke dalam database vektor. Database vektor sangat ideal untuk menyimpan dan mengambil sampel sesuai dengan representasi vektor.

Dengan menyimpan representasi ke dalam database vektor, Anda dapat mengambil halaman yang sama sesuai dengan seberapa dekat dua vektor. Ini sangat penting bagi browser untuk mengambil hasil yang paling relevan.

Cli

Jalankan crawler dengan terminal:

$ python cli_crawl.py --help

options:
  -h, --help            show this help message and exit
  -u INITIAL_URLS [INITIAL_URLS ...], --initial-urls INITIAL_URLS [INITIAL_URLS ...]
  -lm LANGUAGE_MODEL, --language-model LANGUAGE_MODEL
  -m MAX_DEPTH, --max-depth MAX_DEPTH

API

Host API dengan uvicorn dan FastAPI .

uvicorn api_app:app --host 0.0.0.0 --port 80

Lihatlah contoh di start_api_and_head_node.sh . Perhatikan bahwa node kepala ray perlu diinisialisasi terlebih dahulu.

Model Bahasa Besar

Untuk kasus penggunaan kami, kami cukup menggunakan model Bert yang diimplementasikan oleh Huggingface untuk mengekstrak embeddings dari teks web. Lebih tepatnya, kami menggunakan Bert-Base-Incased. Perhatikan bahwa kode tersebut adalah model agnostik dan baru dapat didaftarkan dan ditambahkan dengan beberapa baris kode, lihat ke llm/best.py .

Menyimpan data merangkak

Kami menggunakan Milvus sebagai perangkat lunak administrator database utama kami. Kami menggunakan basis data gaya vektor karena kemampuannya yang diwariskan untuk mencari dan menyimpan entri berdasarkan representasi vektor (embeddings).

Milvus Lite

Mulailah server Milvus mandiri Anda sebagai berikut, saya sarankan menggunakan perangkat lunak multiplexer seperti tmux :

tmux new -s milvus
milvus-server

Lihatlah di bawah scripts/ untuk melihat beberapa permintaan dasar ke Milvus.

Docker menyusun

Anda juga dapat menggunakan template docker compose resmi:

docker compose --file milvus-docker-compose.yml up -d

Perhitungan paralel

Kami menggunakan Ray, adalah kerangka kerja Python yang hebat untuk menjalankan pemrosesan terdistribusi dan paralel. Ray mengikuti paradigma master-pekerja, di mana node head akan meminta tugas untuk dieksekusi ke pekerja yang terhubung.

Mulailah kepala dan node pekerja di Ray

Node Kepala

1. Siapkan Node Kepala

ray start --head

2. Hubungkan program Anda ke simpul kepala

 import ray

# Connect to the head
ray . init ( "auto" )

Jika Anda ingin menghentikan Node Ray:

ray stop

Atau memeriksa statusnya:

ray status

Node Pekerja

1. Inisialisasi simpul pekerja

ray start

Node pekerja tidak perlu memiliki implementasi kode karena simpul kepala akan membuat serialisasi dan mengirimkan argumen dan implementasi kepada pekerja.

Fitur masa depan

Implementasi saat ini adalah POC. Banyak perbaikan dapat dilakukan:

• [PENTING] Titik entri baru di API untuk mencari teks yang diberikan URL serupa.
• Optimalkan Pencarian dan API.
• Menambahkan model LLMS baru dan strategi chunking baru dengan perpustakaan populer, misalnya Langchain.
• Menyimpan lebih banyak fitur di vektor DB, mungkin, menghasilkan ringkasan.

Berkontribusi

Semua masalah dan PR dipersilakan?

Referensi

• Dokumentasi Ray
• Milvus
• Fastapi
• Huggingface