vector_search_engine

Проект базы данных с Weaviate Vector

Склонный обзор и демонстрация семантического поиска

Автор: Candace Edwards Email: [email protected]

Это последний проект для ICS691B: аналитика больших данных, осень 2022 года. Представлено: 15.12.22

В этом проекте я исследовал соответствующую архитектуру узел -узла Weaviate, внедрил векторную базу данных с использованием Weaviate и применяемых алгоритмов сокращения трехмерного сокращения для обеспечения 2D и 3D визуализации векторных данных.

Данные для этого проекта собраны путем соскоба, страниц регистрации UH Manoa Spring '23 и страницы каталога курсов. В конечном счете, мы используем информацию об курсе, такую ​​как имя курса, описание курса, отдел и инструктор, для создания наших объектов базы данных и векторизации наших данных.

Результаты

• Финальная книга «Заметки проекта»: `cedward_ics691b_final_weaviate.ipynb`
• Код Python для WebScrape Directory/File: `code/data_util.py`
• Data For DataFrame Directory/File: `data/data_df.csv`
• Vector Enterdings Numpy Directory/File: `data/empeddings.npy`

Контур:

I. Обзор проекта
II Печатный обзор
---- Обзор архитектуры
---- векторы и векторный индекс
------ КНН против Энн
------ HNSW
Iii. Демонстрация векторной базы данных
---- Данные и векторы
---- Привлечение экземпляра базы данных
---- Семантический поиск запросов
IV Визуализация
---- PCA
---- T-Sne
---- Umap
V. Заключение

Разное:

Проект/Песочница: working_draft.ipynb