หน้าแรก>การเขียนโปรแกรมที่เกี่ยวข้อง>ซอร์สโค้ดอื่น ๆ
ดาวน์โหลด

โครงการฐานข้อมูลเวกเตอร์ทอผ้า

ทอภาพรวมและตัวอย่างการค้นหาความหมาย

โดย: Candace Edwards อีเมล: [email protected]

นี่คือโครงการสุดท้ายสำหรับ ICS691B: Big Data Analytics, Fall 2022 ส่ง: 12/15/22

ในโครงการนี้ฉันได้สำรวจสถาปัตยกรรมที่เกี่ยวข้องของโหนด Core Weaviate โดยใช้ฐานข้อมูลเวกเตอร์โดยใช้ทอและใช้อัลกอริทึมการลดสามมิติเพื่อให้การสร้างภาพข้อมูล 2D และ 3D ของข้อมูลเวกเตอร์

ข้อมูลสำหรับโครงการนี้ถูกรวบรวมโดยการขูดหน้าลงทะเบียน UH Manoa Spring '23 และหน้าแคตตาล็อกหลักสูตร ในที่สุดเราใช้ข้อมูลหลักสูตรเช่นชื่อหลักสูตรคำอธิบายหลักสูตรแผนกและผู้สอนเพื่อสร้างวัตถุฐานข้อมูลของเราและทำให้ข้อมูลของเรา

สิ่งที่ส่งมอบได้

  • สมุดบันทึกโครงการสุดท้ายคือ: `cedwards_ics691b_final_weaviate.ipynb`
  • รหัส Python สำหรับไดเรกทอรี/ไฟล์ webScrape: `code/data_util.py`
  • Data for DataFrame Directory/File: `data/data_df.csv`
  • Vector Embeddings Directory/ไฟล์: `data/Embeddings.npy`

โครงร่าง:

I. ภาพรวมโครงการ
ii. ภาพรวมทอผ้า
---- ภาพรวมสถาปัตยกรรม
---- เวกเตอร์และดัชนีเวกเตอร์
------ knn vs ann
------ HNSW
iii. การสาธิตฐานข้อมูลเวกเตอร์
---- ข้อมูลและเวกเตอร์
---- อินสแตนซ์ฐานข้อมูลทอผ้า
---- ข้อความค้นหาความหมาย
iv. การแสดงภาพ
---- PCA
---- t-sne
---- umap
V. บทสรุป

MISC:

Draft/Sandbox: working_draft.ipynb

ขยาย
ข้อมูลเพิ่มเติม
แอปที่เกี่ยวข้อง
แนะนำสำหรับคุณ
ข้อมูลที่เกี่ยวข้อง ทั้งหมด