Unlinked

Tidak terhubung

Unlinked adalah scraper web yang dirancang untuk mengidentifikasi dan mendeteksi tautan yang tidak terkait dalam posting berbasis komunitas, seperti yang ada di platform seperti stackoverflow, medium, dan forum serupa.

Cara kerjanya

Deteksi kesamaan berbasis vektor yang tidak terhubung untuk menganalisis relevansi tautan dalam suatu pos. Konsep inti dibangun di sekitar penggunaan database vektor , yang pra-terlatih pada kumpulan data yang luas. Scraper menggunakan Spacy , perpustakaan NLP yang populer, untuk menghitung embedding kata dan kalimat.

Dalam ruang vektor, kata atau kalimat yang terkait semantik cenderung memiliki sudut yang lebih kecil di antara mereka, menghasilkan skor kesamaan cosinus yang tinggi. Sebaliknya, kata atau kalimat yang tidak terkait akan memiliki sudut yang lebih besar, menghasilkan kesamaan kosinus yang lebih rendah atau negatif. Ini memungkinkan aplikasi untuk menentukan apakah tautan dalam posting terkait secara kontekstual dengan konten atau tidak.

Memulai

Berjalan secara lokal

Untuk menjalankan tanpa tautan pada mesin lokal Anda, ikuti langkah -langkah di bawah ini:

1. Klon Repositori:

   git clone https://github.com/Aashish1-1-1/Unlinked

2. Arahkan ke Direktori Proyek:

    cd Unlinked/unlinked

3. Bangun gambar Docker:

   sudo docker build -t unlinked .

4. Jalankan aplikasi:

   sudo docker run -i unlinked