vector_search_engine

編織矢量數據庫項目

編織概述和語義搜索演示

作者：Candace Edwards電子郵件：[email protected]

這是ICS691B的最終項目：大數據分析，秋季2022年。提交：12/15/22

在這個項目中，我探索了編織核心節點的相關體系結構，使用編織物實現了矢量數據庫，並應用了三維降低算法，以提供向量數據的2D和3D可視化。

該項目的數據是通過刮擦UH Manoa Spring '23註冊頁面和課程目錄頁面來收集的。最終，我們使用課程信息，例如課程名稱，課程描述，部門和講師來構建我們的數據庫對象並矢量化數據。

可交付成果

• 最終項目筆記簿是：`cedwards_ICS691B_FINAL_WEAVIATE.IPYNB`
• Webscrape目錄/文件的Python代碼：`code/data_util.py`
• 數據幀目錄/文件的數據：`data/data_df.csv`
• 向量嵌入numpy目錄/文件：`data/embeddings.npy`

大綱：

I.項目概述
ii。編織概述
----建築概述
----向量和向量索引
------ KNN vs Ann
------ HNSW
iii。向量數據庫演示
----數據和向量
----編織數據庫實例
----語義搜索查詢
iv。可視化
---- PCA
---- t-sne
---- umap
V.結論

雜項：

草稿/沙盒： working_draft.ipynb