vector_search_engine

Projet de base de données vectorielle de temps

Aperçu de tivette et démo de recherche sémantique

Par: Candace Edwards Courriel: [email protected]

Ceci est le projet final pour ICS691B: Big Data Analytics, automne 2022. Soumis: 15/12/22

Dans ce projet, j'ai exploré l'architecture pertinente du nœud de noyau de Weavate, implémenté une base de données vectorielle en utilisant des algorithmes de réduction à trois dimensionnalité WeAviate et appliqués pour fournir une visualisation 2D et 3D des données vectorielles.

Les données de ce projet sont recueillies en grattant la page d'inscription et la page du catalogue de cours UH Manoa Spring '23. En fin de compte, nous utilisons des informations de cours telles que le nom du cours, la description du cours, le département et l'instructeur pour créer nos objets de base de données et vectoriser nos données.

Livrables

• Le livre de notes du projet final est: `cedwards_ics691b_final_weavate.ipynb`
• Code python pour le répertoire / fichier de Webscrap: `code / data_util.py`
• Données pour DataFrame Directory / Fichier: `DATA / DATA_DF.CSV`
• Vector Embeddings Numpy Directory / Fichier: `Data / Embeddings.npy`

Contour:

I. Présentation du projet
Ii Aperçu de tivette
---- Aperçu de l'architecture
---- Vecteurs et indice vectoriel
------ KNN VS ANN
------ HNSW
Iii. Démonstration de la base de données vectorielle
---- Données et vecteurs
---- Firié l'instance de base de données
---- Requêtes de recherche sémantique
Iv. Visualisations
---- PCA
---- T-Sne
---- UMAP
V. Conclusion

Misc:

Draft / Sandbox: working_draft.ipynb