Vektor-database dengan pustaka qdrant dan menanamkan dengan penyudai kalimat
Mensimulasikan database vektor pada dataset CONALA.
Dataset
- CONALA: Dataset Tantangan Kode/Bahasa Alami untuk mengambil cuplikan program yang relevan dengan kueri pengguna.
Kerangka kerja
- Database Vektor: Database vektor dalam memori menggunakan pustaka qdrant.
- Embeddings: Transformator Kalimat (All-Minilm-L6-V2).
File
- persiapan_data.ipynb: notebook untuk melihat data dan analisis sederhana dari dataset.
- embeddings.ipynb: berisi kode lengkap untuk membuat embedding menggunakan kalimat transformer, vektor-database menggunakan qdrant dan kemudian pengambilan berdasarkan kesamaan kosinus.
Jika Anda menemukan repo bermanfaat, silakan jatuhkan a
