vector_search_engine

Projeto de banco de dados de vetores tecedados

Visão geral tecem e demonstração de pesquisa semântica

Por: Candace Edwards E -mail: [email protected]

Este é o projeto final para o ICS691b: Big Data Analytics, outono 2022. Enviado: 15/12/22

Neste projeto, explorei a arquitetura relevante do nó do núcleo do Weaviate, implementei um banco de dados vetorial usando algoritmos de redução de três dimensionalidade do tecelaviado e apliquem a visualização 2D e 3D dos dados do vetor.

Os dados para este projeto são coletados raspando a página de registro da UH Manoa Spring '23 e a página de catálogo do curso. Por fim, usamos informações do curso, como nome do curso, descrição do curso, departamento e instrutor para criar nossos objetos de banco de dados e vetorizar nossos dados.

Entregas

• O livro final do projeto de projeto é: `cedwards_ics691b_final_weaviate.ipynb`
• Código Python para Diretório/Arquivo da WebScrape: `Code/Data_Util.py`
• Dados para DataFrame Directory/Arquivo: `Data/Data_DF.csv`
• INCEDIÇÕES VECTOR DIRETÓRIO/ARQUIVO NUMPY: `Data/incorpeddings.npy`

Contorno:

I. Visão geral do projeto
Ii. Visão geral tecelavata
---- Visão geral da arquitetura
---- vetores e índice de vetor
------ KNN vs Ann
------ HNSW
Iii. Demonstração de banco de dados vetorial
---- Dados e vetores
---- Instância de banco de dados teatral
---- Consultas de pesquisa semântica
4. Visualizações
---- PCA
---- T-SNE
---- Umap
V. Conclusão

Misc:

Draft/Sandbox: working_draft.ipynb