vector_search_engine

编织矢量数据库项目

编织概述和语义搜索演示

作者：Candace Edwards电子邮件：[email protected]

这是ICS691B的最终项目：大数据分析，秋季2022年。提交：12/15/22

在这个项目中，我探索了编织核心节点的相关体系结构，使用编织物实现了矢量数据库，并应用了三维降低算法，以提供向量数据的2D和3D可视化。

该项目的数据是通过刮擦UH Manoa Spring '23注册页面和课程目录页面来收集的。最终，我们使用课程信息，例如课程名称，课程描述，部门和讲师来构建我们的数据库对象并矢量化数据。

可交付成果

• 最终项目笔记簿是：`cedwards_ICS691B_FINAL_WEAVIATE.IPYNB`
• Webscrape目录/文件的Python代码：`code/data_util.py`
• 数据帧目录/文件的数据：`data/data_df.csv`
• 向量嵌入numpy目录/文件：`data/embeddings.npy`

大纲：

I.项目概述
ii。编织概述
----建筑概述
----向量和向量索引
------ KNN vs Ann
------ HNSW
iii。向量数据库演示
----数据和向量
----编织数据库实例
----语义搜索查询
iv。可视化
---- PCA
---- t-sne
---- umap
V.结论

杂项：

草稿/沙盒： working_draft.ipynb