vector_search_engine

Vektordatenbankprojekt

Übersicht über die Waspen und semantische Suchdiese

Von: Candace Edwards E -Mail: [email protected]

Dies ist das endgültige Projekt für ICS691B: Big Data Analytics, Herbst 2022. Übermittelt: 15.12.22

In diesem Projekt habe ich die relevante Architektur des Wea -Kernknotens untersucht, eine Vektordatenbank mit Weaviate implementiert und drei Dimensionalitätsreduzierungsalgorithmen angewendet, um die 2D- und 3D -Visualisierung der Vektordaten bereitzustellen.

Die Daten für dieses Projekt werden durch das Abkratzen der UH Manoa Spring '23 Registrationsseite und der Kurskatalogseite gesammelt. Letztendlich verwenden wir Kursinformationen wie den Kursnamen, die Kursbeschreibung, die Abteilung und den Ausbilder, um unsere Datenbankobjekte zu erstellen und unsere Daten zu vectorisieren.

Ergebnisse

• Das endgültige Projektnotizbuch lautet: `cedwards_ics691b_final_weaviate.ipynb`
• Python -Code für Webscape -Verzeichnis/Datei: `code/data_util.py`
• Daten für das DataFrame -Verzeichnis/die Datei: `data/data_df.csv`
• Vector Embeddings Numpy Directory/Datei: `Data/Embettdings.npy`

Gliederung:

I. Projektübersicht
Ii. Übersicht über einen Waspen
---- Architekturübersicht
---- Vektoren und Vektorindex
------ KNN gegen Ann
------ Hnsw
III. Vektordatenbankdemonstration
---- Daten und Vektoren
---- WEAVIATE-Datenbankinstanz
---- Semantische Suchanfragen
Iv. Visualisierungen
---- PCA
---- T-Sne
---- Umap
V. Schlussfolgerung

MISC:

Draft/Sandbox: working_draft.ipynb