QDrant NLP

Qdrant-nlp

Menjaga manusia dalam lingkaran. Saya bukan pengembang di Qdrant, atau secara langsung terkait dengan mereka, tetapi saya pikir mereka telah membangun sesuatu yang luar biasa, dan sejauh ini kurang dihargai. Repo ini ada di sini untuk bertindak sebagai demo lebih dari apa pun.

https://github.com/qdrant/qdrant

Saya akan menyebutnya selesai setelah rapi dan tersedia di Dockerhub. Cukup Anda mungkin bisa menggunakannya untuk menjalankan POC Anda sendiri tanpa kode tambahan.

Anda dapat mencapai hampir setengah dari alat ini hanya melalui UI kesombongan mereka, tetapi jelas, itu dirancang untuk memukul API sederhana, bukan alur kerja AI yang berpusat pada data, sehingga kehilangan beberapa komponen yang berguna. Karya ini ditulis lebih dalam di sini https://medium.com/@george.pearse (vektor database bagian 2).

Logo mainan berada di suatu tempat antara kaca pembesar untuk bagaimana perkakas memungkinkan Anda untuk benar -benar fokus pada subset data tertentu, dan grafik Bayesian klasik untuk jika saya cukup terbawa cukup untuk mencoba menambahkan pembelajaran aktif.

Menemukan Dokumentasi untuk Penyelidikan Kalimat Pelukan-Face Via Google Search membuat saya gila, tinggal di sini https://www.sbert.net/docs/hugging_face.html

Label cepat dengan wajah pelukan, streamlit, dan qdrant. Pertama, saya akan mendukung NLP, maka saya akan berpikir tentang menambahkan dukungan gambar (dari situlah ide ini berasal).

Fitur

• Mendukung secara interaktif membuat dan menyimpan kueri untuk database qdrant vector untuk dataset NLP.
• Untuk setiap kueri, tunjukkan positif, tunjukkan negatif, lalu tampilkan hasilnya.
• Mungkin mendukung pembelajaran aktif (akhirnya). Dapat memiliki sistem dua bagian, satu bagian menggunakan pembelajaran aktif untuk mengoptimalkan pencarian kesamaan, yang lain untuk mengoptimalkan finetuning hilir. Atau satu untuk memperbarui DataPoint yang pendekatan tetangga terdekat paling tidak pasti (karena ini hampir dapat diperbarui secara instan) dan satu lagi untuk memperbaiki model yang menghasilkan embeddings.
• Aktifkan pengunduhan dataset langsung dari wajah pelukan (ke embeddings)
• Muat tanda saat menghasilkan embeddings.
• SQLitedB untuk menyimpan hasil kueri, dan nama -nama kueri + mungkin menjalankan hal -hal berbasis heuristik seperti yang Anda lakukan pada dataset Mimic.

Meningkatkan pengalaman penyebaran

• Satu file compose Docker untuk streamlit, qdrant dan fastapi
• Buat gambar Docker tersedia melalui Dockerhub

Lihat Kern.ai untuk solusi penuh yang menggunakan Qdrant di belakang layar. Alat ini dimaksudkan untuk menjadi cukup sederhana untuk bertindak sebagai basis data intro ke vektor. Anda dapat menulis dan melihat permintaan, seperti yang Anda lakukan melalui API Python.

Demikian pula, koaning/curah sangat baik, tetapi bagaimana jika UMAP (masukkan teknik reduksi dimensi alternatif di sini) kehilangan semua nuansa, dan visualisasi tingkat tinggi gagal memberikan nilai untuk dataset Anda?

Saya juga ingin memberi Fastapi uji coba kecil, jadi untuk setiap kueri (permintaan pos) yang Anda simpan, Anda dapat menerima hasilnya dengan memukul titik akhir Fastapi dengan nama kueri.

Untuk menerapkan alat-alat ini ke dataset multi-modal, Anda hanya perlu menggabungkan embeddings untuk setiap komponen dan Anda pergi dengan semua teknologi yang sama.

NB: Nama lain

• Pertimbangkan untuk menelepon kerapu ini jika Anda menganggapnya lebih serius dan meningkatkan komponen
• Atau, carve-n-serve (jika orang benar-benar menyukai komponen FASTAPI). Mengukir data menjadi potongan -potongan kecil.

Mungkin masuk akal untuk menerapkan kesamaan yang terputus, bukan K. terdekat.

Untuk menjalankan:

Untuk memulai, jalankan saja

 docker-compose up