tlgs

TLGS - pencarian Gemini yang benar -benar sah

Ringkasan

TLGS adalah mesin pencari untuk Gemini. Ini sedikit terlalu direkayasa untuk apa adanya dan menggunakan teknologi aneh. Dan saya bangga akan hal itu. Kode Basse saat ini agak berantakan - saya berjanji untuk membersihkannya. Fitur/karakteristik utama adalah sebagai berikut:

• Menggunakan canggih C ++ 20
• Parse dan Indeks Isi Tekstual di GemniniSpace
• Sangat bersamaan dan asinkron
• Indeks Toko di PostgreSQL
• Dikembangkan untuk Linux. Tetapi harus bekerja di Windows, OpenBSD, Haikuos, MacOS, dll.
• Hanya mengambil header untuk file yang tidak dapat diindeks untuk menyimpan bandwith dan waktu
• Menangani semua jenis pengkodean sumber
• Analisis Tautan Menggunakan Algoritma Salsa

Sampai sekarang, pengindeksan situs berita, RFC, dokumentasi sebagian besar dinonaktifkan. Tetapi kemungkinan diaktifkan setelah saya memiliki rata -rata dan sumber daya untuk skala pengaturan.

Menggunakan proyek ini

Persyaratan

• Drogon
• nlohmann-json
• CLI11
• libfmt
• Tbb
• xxhash
• ICONV
• PostgreSQL

Membangun dan Menjalankan Proyek

Untuk membangun proyek. Anda akan membutuhkan kompiler yang mampu C ++ 20 sepenuhnya. Kompiler berikut harus berfungsi saat menulis readme ini

• GCC> = 11.2
• MSVC> = 16.25

Instal semua dependensi. Dan jalankan perintah:

mkdir build
cd build
cmake ..
make -j

Membuat dan memelihara indeks

Untuk membuat indeks inital:

1. Inisialisasi database ./tlgs/tlgs_ctl/tlgs_ctl ../tlgs/config.json populate_schema
2. Tempatkan URL benih ke dalam seeds.text
3. Di folder build, jalankan ./tlgs/crawler/tlgs_crawler -s seeds.text -c 4 ../tlgs/config.json

Sekarang crawler akan mulai merangkak GeminiSpace sambil juga memperbarui indeks yang sudah ketinggalan zaman (jika ada). Untuk memperbarui indeks yang ada. Berlari:

./tlgs/crawler/tlgs_crawler -c 2 ../tlgs/config.json
# -c is the maximum concurrent connections the crawler will make

Catatan: Perayap TLGS dapat didistribusikan. Anda dapat menjalankan beberapa contoh secara paralel. Tetapi beberapa maksud mungkin keluar lebih awal menjelang akhir atau merangkak. Meskipun itu tidak mempengaruhi hasil merangkak.

Menjalankan kapsul

openssl req -new -subj " /CN=my.host.name.space " -x509 -newkey ec -pkeyopt ec_paramgen_curve:prime256v1 -days 36500 -nodes -out cert.pem -keyout key.pem
cd tlgs/server
./tlgs_server ../../../tlgs/server_config.json

Melalui Systemd

sudo systemctl start tlgs_server
sudo systemctl start tlgs_crawler

Konfigurasi server

Bagian custom_config.tlgs di search_config.json (diinstal di /etc/tlgs/server_config.json ) berisi confgurations untuk server TLGS. Selain opsi konfigurasi Drogon yang biasa. custom_config mengubah properti TLGS itu sendiri. Opsi yang didukung saat ini adalah:

peringkat_algo

Algoritma peringkat yang digunakan TLGS untuk memberi peringkat halaman dalam hasil pencarian. Peringkat kemudian dikombinasikan dengan skor pertandingan teks untuk menghasilkan peringkat pencarian akhir. Nilai yang didukung saat ini adalah hits dan salsa . Mengacu pada algoritma peringkat hit dan salsa. Itu default ke salsa jika tidak ada nilai yang disediakan.

Salsa berjalan sedikit lebih cepat daripada hit untuk hasil pencarian yang besar. Baik literatur dan pengalaman imperikal menyarankan Salsa memberikan peringkat yang lebih baik. Jadi kami beralih dari hit ke salsa.

 "ranking_algo" : " salsa " 

Todos

• Pembersihan kode
  • Saya benar -benar perlu memusatkan logika yang merangkak
• Mengacak urutan merangkak. Hindari menampar satu kapsul
  • Semacam .. dengan mencicipi tabel halaman dengan persentase rendah dan meningkat kemudian
• Mendukung penurunan harga parsing
• Coba mengindeks situs berita
• Mengoptimalkan crawler lebih banyak lagi
  • Memeriksa hash sebelum memperbarui indeks
  • Penanganan Peoper UTF-8 dalam Deteksi Seni ASCII
  • Gunakan trie untuk pertandingan URL Blacklist
• Analisis Tautan Menggunakan Salsa
• BM25 untuk skor teks
• Hasil pencarian dedeuplikat
• Filter impemen
• Cara yang tepat (?) Untuk bermigrasi Skema