realtime vector embeddings

Vektor disederhanakan

Ringkasan

Proyek ini dibuat untuk memahami bagaimana berbagai teks yang berbeda dalam ruang multi-dimensi. Ini adalah konsep penting dalam tugas pemrosesan bahasa alami (NLP) seperti klasifikasi teks, pengelompokan, dan sistem rekomendasi.

Proyek ini adalah bagian dari Llamapp

Tujuan

Vektor Sederhana adalah aplikasi web yang dirancang untuk memvisualisasikan embeddings vektor. Proyek ini menyediakan antarmuka yang ramah pengguna untuk memasukkan teks, menghasilkan embeddings vektor, dan memvisualisasikan kesamaannya menggunakan plot interaktif. Inti dari aplikasi ini menunjukkan konsep kesamaan kosinus antar vektor, membuatnya lebih mudah untuk memahami bagaimana berbagai jenis teks yang berbeda berada dalam ruang multi-dimensi.

Apa itu vektor?

Embeddings vektor

Vektor embeddings adalah representasi numerik dari teks yang menangkap makna semantik dalam ruang dimensi tinggi. Mereka digunakan dalam berbagai tugas pemrosesan bahasa alami (NLP) seperti klasifikasi teks, pengelompokan, dan sistem rekomendasi. Setiap vektor terdiri dari beberapa komponen yang menyandikan informasi tentang fitur teks.

• Vektor (Matematika dan Fisika)
• Memahami kata embeddings

Kesamaan kosinus

Kesamaan kosinus adalah metrik yang digunakan untuk mengukur seberapa mirip dua vektor, berdasarkan pada cosinus sudut di antara mereka. Ini berkisar dari -1 (benar -benar berbeda) hingga 1 (sama sekali mirip). Ini banyak digunakan dalam analisis teks untuk menentukan seberapa serupa dua bagian teks didasarkan pada representasi vektornya.

• Kesamaan kosinus
• Kesamaan kosinus dalam pembelajaran mesin

Contoh dasar kesamaan kosinus

Berikut adalah contoh sederhana tentang bagaimana kesamaan kosinus bekerja dengan vektor dasar:

 function calculateCosineSimilarity ( vec1 , vec2 ) {
    const dotProduct = vec1 . reduce ( ( acc , val , idx ) => acc + val * vec2 [ idx ] , 0 ) ;
    const magnitude1 = Math . sqrt ( vec1 . reduce ( ( acc , val ) => acc + val * val , 0 ) ) ;
    const magnitude2 = Math . sqrt ( vec2 . reduce ( ( acc , val ) => acc + val * val , 0 ) ) ;
    return dotProduct / ( magnitude1 * magnitude2 ) ;
}

// Example vectors
const vectorA = [ 1 , 2 , 3 ] ;
const vectorB = [ 4 , 5 , 6 ] ;

const similarity = calculateCosineSimilarity ( vectorA , vectorB ) ;
console . log ( `Cosine Similarity: ${ similarity . toFixed ( 2 ) } ` ) ; // Output: Cosine Similarity: 0.9746 

Fungsi perataan

Saat memvisualisasikan embedding vektor, terutama ketika mengandung sejumlah besar item, grafik dapat menjadi terlalu berkerumun dan sulit untuk ditafsirkan. Untuk mengatasi ini, fungsi smoothing digunakan.

Tujuan Smoothing

Fungsi smoothing membantu mengurangi kebisingan dalam data dengan rata -rata nilai pada ukuran jendela yang ditentukan. Ini membuat grafik lebih mudah dibaca dan memungkinkan visualisasi yang lebih baik dari tren keseluruhan dalam data.

Implementasi Smoothing

Beginilah fungsi smoothing diimplementasikan dalam aplikasi:

 const smoothData = ( data , windowSize ) => {
    const smoothed = [ ] ;
    for ( let i = 0 ; i < data . length ; i ++ ) {
        const start = Math . max ( 0 , i - Math . floor ( windowSize / 2 ) ) ;
        const end = Math . min ( data . length , i + Math . floor ( windowSize / 2 ) + 1 ) ;
        const window = data . slice ( start , end ) ;
        const average = window . reduce ( ( sum , val ) => sum + val , 0 ) / window . length ;
        smoothed . push ( average ) ;
    }
    return smoothed ;
} ;

Smoothing dapat dinyalakan atau dimatikan menggunakan kotak centang di UI, memberikan fleksibilitas kepada pengguna.

Instalasi

Prasyarat

1. Ollama dan model embalitas nomic-text

   • Unduh Ollama : Ikuti instruksi di situs web Ollama untuk mengunduh dan menginstal Ollama.
   • Jalankan model yang disesuaikan dengan nomic-text :
     • Pastikan Ollama berjalan dan dapat diakses di http://localhost:11434 .
     • Jalankan perintah nomic-embed-text di terminal dengan menelepon

      ollama pull nomic-embed-text
     

     • Anda dapat menemukan detail model dan instruksi pengaturan dalam dokumentasi Ollama.

   Mengapa Menggunakan Model Ollama dan Nomic-Text-Embed?

   Ollama membantu dalam menjalankan model bahasa secara lokal, besar dan kecil. Nomic-Embed-Text ISA Model Embedding Terbuka Berkinerja Tinggi Dengan Jendela Konteks Token Besar.

2. Instal Node.js dan NPM

   • Unduh dan instal Node.js dari situs web resmi. Ini juga akan menginstal NPM (Node Package Manager).

Instal Paket

1. Klon Repositori:

   git clone www.github.com/rajatasusual/realtime-vector-embeddings.git
   cd realtime-vector-embeddings

2. Instal dependensi:

   npm install

Struktur aplikasi

Penggunaan CLI

1. Jalankan server:

   npm run cli

2. Mulailah mengetik di terminal untuk memasukkan teks dan mendapatkan embeddings vektor. Hasil dan plot akan disimpan sebagai embedding_plot.png di direktori saat ini.

3. File env dapat ditemukan di direktori root proyek dengan pengaturan default

 PORT=3000
EMBEDDINGS_MODEL=nomic-embed-text
EMBEDDINGS_BASE_URL=http://localhost:11434
SMOOTH=TRUE

UI Penggunaan

1. Mulai server web :

   npm start

   Ini akan memulai server dengan port default 3000.

2. Buka index.html .

3. Gunakan bidang input untuk mengetik teks dan klik "Kirim" untuk menghasilkan embeddings vektor. Hasilnya akan ditampilkan pada grafik, dan Anda dapat berinteraksi dengannya untuk melihat kesamaan.

4. Opsi Smoothing : Gunakan kotak centang "halus" untuk menghidupkan atau mematikan untuk visualisasi grafik yang lebih baik.

Lisensi

Proyek ini dilisensikan di bawah lisensi MIT. Lihat file lisensi untuk lebih jelasnya.