vector_search_engine

Proyecto de base de datos vectorial tejido

Resumen de la descripción general y la búsqueda semántica

Por: Candace Edwards Correo electrónico: [email protected]

Este es el proyecto final para ICS691b: Big Data Analytics, otoño 2022. Enviado: 15/12/22

En este proyecto, he explorado la arquitectura relevante del nodo central tejido, implementé una base de datos vectorial utilizando algoritmos de reducción de tridimensionalidad tejida y aplicada para proporcionar visualización 2D y 3D de los datos vectoriales.

Los datos para este proyecto se recopilan raspando la página de registro de UH Manoa Spring '23 y la página del catálogo de cursos. En última instancia, utilizamos información del curso como el nombre del curso, la descripción del curso, el departamento y el instructor para crear nuestros objetos de base de datos y vectorizar nuestros datos.

Entregables

• El último libro de notas del proyecto es: `Cedwards_ics691b_final_weaviate.ipynb`
• Código Python para el directorio/archivo de WebScrape: `Code/data_util.py`
• Datos para DataFrame Directory/File: `Data/data_df.csv`
• Vector Increddings Directorio/archivo Numpy: `Data/Incrushings.npy`

Describir:

I. Descripción general del proyecto
II. Descripción general tejida
---- Descripción general de la arquitectura
---- Vectores e índice de vectores
------ KNN VS ANN
------ HNSW
Iii. Demostración de la base de datos vectorial
---- Datos y vectores
---- Instancia de base de datos tejida
---- consultas de búsqueda semántica
IV. Visualizaciones
---- PCA
---- T-sne
---- UMAP
V. Conclusión

Misc:

Draft/Sandbox: working_draft.ipynb