Semantic Search using Gen AI UniversalSentenceEncoder FAISS
1.0.0
Ini mencerminkan tujuan utama kode, yaitu untuk melakukan pencarian semantik pada dataset dokumen teks menggunakan FAISS untuk pengindeksan dan encoder kalimat universal untuk menghasilkan embeddings.
Dalam kode ini:
Kami mengambil dataset 20 newsgroups, kumpulan dokumen yang mencakup berbagai topik.
Kami preprocess setiap dokumen dengan menghapus header email, alamat, tanda baca, dan angka, dan mengonversi teks ke huruf kecil menjadi keseragaman.
Kami menggunakan encoder kalimat universal untuk menghasilkan embeddings, mengubah setiap dokumen menjadi representasi numerik panjang tetap yang menangkap makna semantiknya.
Kami membangun indeks FAISS, perpustakaan pencarian kesamaan yang cepat, dan menambahkan embeddings dokumen untuk memungkinkan pencarian kesamaan yang efisien.
Kami mendefinisikan fungsi pencarian yang memproses permintaan pengguna, menghasilkan embeddings, dan mengambil dokumen yang paling mirip dari indeks.
Kami menunjukkan fungsionalitas dengan contoh kueri ("sepeda motor"), menampilkan hasil teratas yang diperingkat oleh kesamaan.
