dawnsearch

DawnSearch

DawnSearch adalah mesin pencari web terdistribusi sumber terbuka yang dicari dengan makna. Ini menggunakan pencarian semantik (mencari makna), menggunakan all-minilm-l6-v2. Ini menggunakan USEARCH untuk pencarian vektor. Itu dapat mengindeks data perayapan umum. DawnSearch ditulis dengan karat.

Contoh publik tersedia di dawnsearch.org.

Status proyek

DawnSearch saat ini berfungsi sebagai pencarian vektor terdistribusi (semantik). Saat Anda memulai sebuah instance, itu akan mendaftar dengan pelacak. Instance kemudian dapat berpartisipasi dalam jaringan dengan mencari. Secara opsional, ia dapat mengindeks dataset perayapan umum dan menjawab pertanyaan.

Barang utama masih harus dilakukan:

1. Penanganan kesalahan yang lebih baik. Masih ada banyak .unwrap () dalam kode.
2. Kekokohan terhadap contoh yang tidak berfungsi atau jahat.
3. Enkripsi paket.
4. Tingkatkan efisiensi pencarian dengan mendistribusikan halaman yang diindeks ke instance yang secara semantik dekat dengan konten.

Bantuan yang dibutuhkan!

DawnSearch mencari:

1. Orang untuk menggunakan pencarian di dawnsearch.org dan memberikan umpan balik tentang penggunaan dan kualitas hasil.
2. Orang dengan pengalaman karat untuk melihat basis kode dan memberikan tips untuk membuatnya lebih mudah dibaca dan lebih banyak karat ideomatik.
3. Perancang UI/UX untuk membuat desain untuk halaman hasil utama dan pencarian.
4. Pengembang karat yang dapat mengatasi beberapa masalah yang disebutkan di bawah 'status proyek'
5. Orang yang ingin menjalankan contoh mereka sendiri.

Harap buka masalah untuk pertanyaan atau umpan balik. Jika Anda ingin menyumbangkan sesuatu yang besar, seperti fitur atau refactor, buka masalah sebelum Anda mulai sehingga Anda tidak melakukan pekerjaan duplikat!

Awal yang cepat

Ini akan membangun dan menjalankan instance 'Terminal Akses' DawnSearch pada Ubuntu baru -baru ini, tanpa akselerasi GPU. Lihat mode untuk contoh konfigurasi lain.

 sudo apt-get update && sudo apt-get install -y build-essential pkg-config

# Install rust if you don't have it already:
curl --proto '=https' --tlsv1.2 -sSf https://sh.rustup.rs | sh

mv DawnSearch.toml.example DawnSearch.toml
RUSTFLAGS='-C target-cpu=native'  cargo run --release

Sekarang, buka http: // localhost: 8080 untuk mengakses instance DawnSearch Anda sendiri. Anda akan dapat melakukan pencarian, tetapi Anda belum akan berkontribusi pada jaringan. Lihatlah mode untuk melihat bagaimana Anda bisa melakukannya.

Jika Anda ingin meningkatkan ke akselerasi GPU, coba ini. Anda harus menginstal CUDA:

 RUSTFLAGS='-C target-cpu=native'  cargo run --release --features cuda

Perhatikan bahwa pada M1/M2 Mac, 'Instal Cargo' tidak berfungsi. 'Bangun kargo' melakukannya!

Jangan ragu untuk membuka masalah jika Anda mengalami masalah!

Konfigurasi

Anda dapat mengonfigurasi DawnSearch melalui DawnSearch.toml atau melalui variabel lingkungan seperti DawnSearch_index_CC.

Dokumentasi

Bekerja sedang berlangsung!

• Arsitektur DawnSearch
• Informasi Tambahan tentang Buildling DawnSearch
• Data - Lokasi data yang disimpan oleh DawnSearch.
• Mode DawnSearch - berbagai cara Anda dapat menjalankan DawnSearch.
• Optmizing - Profil dan Optimalisasi.

Lihat juga

• Cara Membangun Mesin Pencari Semantik di Rust - Tutorial yang sangat baik tentang cara melakukan pencarian semantik dengan Rust -Bert.