vector_search_engine

Weaviate Vector Database Project

Weaviate Tinjauan dan Demo Pencarian Semantik

Oleh: Candace Edwards Email: [email protected]

Ini adalah proyek akhir untuk ICS691B: Big Data Analytics, Fall 2022. Dikirim: 12/15/22

Dalam proyek ini saya telah mengeksplorasi arsitektur yang relevan dari node inti Weaviate, mengimplementasikan database vektor menggunakan Weaviate dan menerapkan algoritma pengurangan tiga dimensi untuk menyediakan visualisasi 2D dan 3D dari data vektor.

Data untuk proyek ini dikumpulkan dengan mengikis halaman pendaftaran UH Manoa Spring '23 dan halaman katalog kursus. Pada akhirnya, kami menggunakan informasi kursus seperti nama kursus, deskripsi kursus, departemen dan instruktur untuk membangun objek basis data kami dan memvotek data kami.

Hasil

• Buku catatan proyek akhir adalah: `cedwards_ics691b_final_weaviate.ipynb`
• Kode Python untuk Direktori/File Webscrape: `kode/data_util.py`
• Data untuk DataFrame Directory/File: `data/data_df.csv`
• Vektor Emector Directory/File Numpy: `data/embeddings.npy`

Garis besar:

I. Tinjauan Proyek
Ii. Weaviate Tinjauan
---- Tinjauan Arsitektur
---- indeks vektor dan vektor
------ Knn vs Ann
------ HNSW
AKU AKU AKU. Demonstrasi database vektor
---- data dan vektor
---- Weaviate Database instance
---- kueri pencarian semantik
Iv. Visualisasi
---- PCA
---- t-sne
---- umap
V. Kesimpulan

MISC:

Draft/Sandbox: working_draft.ipynb