mwmbl
1.0.0
Tidak ada iklan, tidak ada pelacakan, tidak ada keuntungan
MWMBL adalah mesin pencari open source nirlaba di mana masyarakat menentukan peringkat. Kami bertujuan untuk menjadi pengganti mesin pencari komersial seperti Google dan Bing.
Kami memiliki indeks kami sendiri yang didukung oleh komunitas kami. Indeks kami saat ini jauh lebih kecil daripada mesin pencari komersial, dengan sekitar 500 juta URL unik (lebih banyak statistik). Kualitasnya jauh dari pencocokan mesin komersial saat ini, tetapi Anda dapat membantu mengubahnya dengan bergabung dengan kami! Kami bertujuan untuk memiliki 1 miliar URL unik yang diindeks pada akhir 2024, 10 miliar pada akhir 2025 dan 100 miliar pada akhir 2026 pada titik mana kami harus sebanding dengan mesin pencari komersial.
Komunitas utama kami adalah di matriks tetapi kami juga memiliki server perselisihan untuk diskusi terkait non-pembangunan.
Komunitas bertanggung jawab untuk merangkak web (lihat di bawah) dan membuat hasil pencarian. Kami ramah dan ramah. Bergabunglah dengan kami!
Semua dokumentasi ada di https://book.mwmbl.org.
Merayap didistribusikan di seluruh komunitas, sementara pengindeksan terpusat di server utama.
Jika Anda memiliki daya komputer dan bandwidth cadangan, cara terbaik yang dapat Anda bantu adalah dengan menjalankan crawler baris perintah kami dengan sebanyak mungkin utas yang dapat Anda luang.
Jika Anda memiliki Firefox, Anda dapat membantu dengan memasang ekstensi kami. Ini akan merangkak web di latar belakang. Itu tidak menggunakan atau mengakses data pribadi Anda. Sebaliknya ia merangkak satu set URL yang dikirim dari server pusat kami. Setelah mengekstraksi ringkasan setiap halaman, ia mengumpulkan ini dan mengirimkan data ke server pusat untuk disimpan dan diindeks.
Motif mesin pencari yang didanai iklan bertentangan dengan memberikan pengalaman pengguna yang optimal. Situs -situs ini dioptimalkan untuk pendapatan iklan, dengan pengalaman pengguna mengambil tempat kedua. Ini berarti bahwa halaman dimuat dengan iklan yang seringkali tidak jelas dibedakan dari hasil pencarian. Juga, EITLAND ON Hacker News komentar:
Memikirkannya, tampaknya logis bahwa untuk mesin pencari yang secara praktis berbicara telah memonopoli baik pada pengguna maupun seperti yang ditunjukkan oleh MattGB - [ke beberapa] gelar juga pada pengindeksan - melayani jawaban yang benar terlebih dahulu hanya bodoh: jika mereka dapat membuat saya tetap di antara hasil pencarian dan blog teknologi mereka dengan iklan mereka tertanam satu, dua atau lima kali ekstra berarti satu, dua atau lima kali lebih banyak iklan.
Ruang mesin pencari alternatif telah berkembang pesat dalam beberapa tahun terakhir. Berikut daftar yang sangat tidak lengkap dari beberapa yang membuat saya tertarik:
Dari jumlah tersebut, Yacy adalah yang paling dekat dengan gagasan mesin pencari nirlaba. Indeks didistribusikan di seluruh jaringan peer-to-peer. Sayangnya keputusan desain ini memperlambat pengambilan hasil pencarian.
Pencarian Marginalia fantastis, tetapi tujuan kami berbeda: kami bertujuan untuk menjadi pengganti mesin pencari komersial sedangkan Marginalia bertujuan untuk memberikan jenis pencarian yang berbeda.
Semua mesin pencari lain yang saya temui adalah nirlaba. Tolong beri tahu saya jika saya melewatkannya!
Untuk menjadi mesin pencari yang baik, kita perlu menyimpan banyak item, tetapi biaya menjalankan mesin setidaknya sebanding dengan jumlah item yang disimpan. Pertimbangan utama kami adalah mengurangi biaya per item yang disimpan.
Desain ini didirikan pada pengamatan bahwa sebagian besar item peringkat untuk serangkaian istilah kecil. Dalam versi ekstrem ini, di mana setiap item peringkat untuk satu istilah, desain indeks terbalik biasa sangat tidak efisien, karena kita harus menyimpan setiap istilah setidaknya dua kali: sekali dalam indeks dan sekali dalam data item itu sendiri.
Desain kami adalah peta hash raksasa. Kami memiliki satu toko yang terdiri dari nomor tetap n halaman. Setiap halaman memiliki ukuran tetap (saat ini 4096 byte untuk mencocokkan halaman memori), dan terdiri dari daftar item terkompresi. Diberikan istilah yang kami inginkan untuk peringkat item, kami menghitung hash dari istilah, nilai antara 0 dan n - 1. Item tersebut kemudian disimpan di halaman yang sesuai.
Untuk mengambil halaman, kami cukup menghitung hash dari istilah dalam kueri pengguna dan memuat halaman yang sesuai, memfilter item ke yang berisi istilah dan memberi peringkat item. Karena setiap halaman kecil, ini dapat dilakukan dengan sangat cepat.
Karena kami mengompres daftar item, kami dapat memberi peringkat lebih dari satu istilah dan mempertahankan indeks yang lebih kecil dari desain indeks terbalik. Setidaknya, itulah teorinya. Gagasan ini belum diuji dalam skala besar.
Ada beberapa cara untuk membantu:
Jika Anda ingin membantu dengan cara apa pun atau lain, terima kasih! Silakan bergabung dengan server obrolan matriks kami atau kirim email ke penulis utama (alamat email ada dalam riwayat komitmen git).
Untuk mencoba layanan secara lokal lihat bagian dalam buku MWMBL.
Catatan: Metode ini tidak disarankan karena lebih terlibat, dan indeks Anda tidak akan menyertakan data apa pun kecuali Anda mengatur crawler untuk merangkak ke server Anda. Anda perlu mengatur backblaze Anda sendiri atau penyimpanan setara S3, atau memiliki akses ke kunci produksi, yang mungkin tidak akan kami berikan kepada Anda.
Ikuti instruksi penempatan
Seperti "bergumam". Saya tinggal di Mumbles, yang dieja "mwmbwls" di Welsh. Tapi makna yang dimaksudkan adalah "untuk bergumam", seperti dalam "Jangan mencari, hanya mwmbl!"
