vector_search_engine

벡터 데이터베이스 프로젝트를 짜십시오

개요 및 시맨틱 검색 데모를 만듭니다

작성자 : Candace Edwards 이메일 : [email protected]

이것은 ICS691B : Big Data Analytics, 2022 년 가을의 최종 프로젝트입니다. 제출 : 12/15/22

이 프로젝트에서는 Weaviate Core 노드의 관련 아키텍처를 탐색하고 Weaviate를 사용하여 벡터 데이터베이스를 구현하고 벡터 데이터의 2D 및 3D 시각화를 제공하기 위해 3 차원 감소 알고리즘을 적용했습니다.

이 프로젝트의 데이터는 UH Manoa Spring '23 등록 페이지 및 코스 카탈로그 페이지를 폐기하여 수집합니다. 궁극적으로 우리는 코스 이름, 코스 설명, 부서 및 강사와 같은 과정 정보를 사용하여 데이터베이스 개체를 구축하고 데이터를 벡터화합니다.

결과물

• 최종 프로젝트 노트는 다음과 같습니다.`cedwards_ics691b_final_weaviate.ipynb`
• WebScrape 디렉토리/파일 용 Python 코드 :`code/data_util.py`
• Dataframe Directory/file의 데이터 :`data/data_df.csv`
• Vector Imbeddings Numpy Directory/File :`Data/Endeddings.npy`

개요:

I. 프로젝트 개요
II. 개요를 짜십시오
---- 아키텍처 개요
---- 벡터 및 벡터 인덱스
------ Knn vs Ann
------ HNSW
III. 벡터 데이터베이스 데모
---- 데이터 및 벡터
---- 데이터베이스 인스턴스
---- 의미 검색 쿼리
IV. 시각화
---- PCA
---- T-SNE
---- UMAP
V. 결론

기타 :

초안/샌드 박스 : working_draft.ipynb