doppelganger

Doppelgänger

Masalah: Pemelihara open-source menghabiskan banyak waktu mengelola masalah duplikat/terkait (doppelgänger) & permintaan tarik
Larutan: Doppelgänger membandingkan masalah/PR yang baru diajukan dengan masalah yang sudah ada untuk secara otomatis menandai duplikat/terkait (doppelgänger) masalah/PRS

Topik: Vektor DB, GitHub, Sumber Terbuka, Pencarian Menanamkan, Rag, Skor Kesamaan

Screen.recording.2024-04-27.at.4.57.11.pm.mov

Aplikasi ini adalah aplikasi GitHub yang secara otomatis membandingkan masalah yang baru dibuka dengan yang sudah ada, menutup dan mengomentari masalah yang sangat mirip untuk mengurangi duplikasi. Selain itu, ia mengomentari umpan balik tentang PRS berdasarkan judul dan deskripsi untuk dipertimbangkan poin.

Dokumentasi doppelganger

Cara kerjanya

Setiap issue['title'] dan issue['body'] dikonversi menjadi representasi vektor menggunakan minilm-l6-v2 .

Setiap vektor bertahan dalam chromadb dan melakukan pencarian kesamaan menggunakan pencarian kesamaan cosinus chromadb. Bersama dengan masing -masing vektor adalah issue_id dan issue['title'] disimpan menggunakan argumen metadata Chromadb.

SIMILARITY_THRESHOLD (yaitu jarak d di mana kami menganggap "serupa") dapat dikonfigurasi, dan dapat diatur ke desimal antara 0 dan 1 [1].

Doppelganger akan menutup masalah apa pun ketika jarak cosinus d antara masalah yang baru diajukan dan masalah yang paling mirip lebih besar dari ambang batas ini. Jika tidak, jika masalah yang baru dikirim lebih besar dari (similarty_threshold*0,5), itu akan meninggalkan komentar yang bermanfaat yang menunjukkan masalah yang paling mirip/terkait.

[1] Jarak kosinus

Masalah dan permintaan tarik disimpan dalam koleksi Chromadb per repositori.

Prasyarat

• Python 3.8+
• Akun github
• Server atau platform hosting untuk menjalankan aplikasi (misalnya, Heroku, Digitalocean, AWS)
• Ollama

Petunjuk Pengaturan

1. Buat aplikasi GitHub

1. Pergi ke pengaturan akun GitHub Anda.
2. Klik "Pengaturan Pengembang" di bilah sisi kiri.
3. Pilih "Aplikasi Gitub" dan klik "Aplikasi GitHub Baru".
4. Isi informasi yang diperlukan:
   • Nama Aplikasi GitHub: Pilih Nama Unik (mis. "Masalah Pemeriksa Kesamaan")
   • URL Beranda: Situs web aplikasi Anda atau profil github Anda
   • URL Webhook: URL tempat server Anda akan berjalan (misalnya, https://your-server.com/webhook)
   • Webhook Secret: Hasilkan rahasia yang aman dan simpan untuk digunakan nanti
5. Atur izin:
   • Izin Repositori:
     • Masalah: Baca & Tulis
     • Tarik Permintaan: Baca & Tulis
     • Webhooks: Baca-saja
   • Berlangganan acara:
     • Masalah
     • Permintaan tarik
6. Buat aplikasi dan catat ID aplikasi
7. Menghasilkan kunci pribadi dan mengunduhnya (Anda akan membutuhkan ini nanti)

2. Persiapkan lingkungan Anda

1. Klon Repositori ini:

    git clone https://github.com/dannyl1u/doppelganger.git
   cd doppelganger
   

2. Instal dependensi:

    pip install -r requirements.txt
   

3. Untuk membuat file .env baru, jalankan perintah berikut di terminal Anda:

cp .env.example .env

Buka file .env yang baru dibuat dan perbarui variabel berikut dengan nilai Anda sendiri:
* APP_ID : Ganti your_app_id_here dengan ID aplikasi Anda yang sebenarnya.
* WEBHOOK_SECRET : Ganti your_webhook_secret_here dengan rahasia webhook Anda yang sebenarnya.
* OLLAMA_MODEL : ganti your_chosen_llm_model_here dengan model LLM pilihan Anda (misalnya "llama3.2"). Catatan: Ini harus menjadi model yang didukung Ollama (lihat: https://ollama.com/library untuk model yang didukung)
* NGROK_DOMAIN : ganti your_ngrok_domain_here dengan domain ngrok Anda jika Anda memiliki satu 4. Tempatkan kunci pribadi yang diunduh di root proyek dan beri nama rsa.pem .

5. Jalankan aplikasi secara lokal

Mulai aplikasi Flask:

python3 app.py

Aplikasi akan mulai berjalan di http: // localhost: 4000

3. Siapkan dependensi dan penyebaran (instruksi Ngrok dan Ollama)

Kami akan menggunakan Ngrok untuk kesederhanaannya

Opsi 1: URL publik yang dihasilkan di jendela terminal baru, mulailah NGROK untuk membuat terowongan yang aman ke server lokal Anda:

ngrok http 4000

Ngrok akan menghasilkan URL publik (misalnya, https://abc123.ngrok.io)

Tambahkan /webhook ke URL, misalnya https://abc123.ngrok.io -> https://abc123.ngrok.io/webhook

Di jendela terminal lain, mulailah ollama

ollama run < an OLLAMA model here >

Opsi 2: Menggunakan skrip shell dengan domain Ngrok Anda sendiri

Pastikan variabel lingkungan sudah siap.

./run-dev.sh

4. Perbarui Pengaturan Aplikasi GitHub

1. Kembali ke pengaturan aplikasi GitHub Anda.
2. Perbarui URL WebHook untuk menunjuk ke aplikasi Anda yang dikerahkan (misalnya, https://abc123.ngrok.io/webhook).

5. Instal aplikasi GitHub

1. Buka halaman Pengaturan Aplikasi GitHub Anda.
2. Di bagian "Instal Aplikasi", klik "Instal Aplikasi" atau "Tambahkan Instalasi".
3. Pilih akun tempat Anda ingin menginstal aplikasi.
4. Pilih repositori (atau repositori) di mana Anda ingin menggunakan aplikasi.
5. Konfirmasikan instalasi.

Penggunaan

Setelah diinstal, aplikasi akan secara otomatis:

1. Pantau masalah dan PR baru dalam repositori yang dipilih.
2. Bandingkan masalah baru dan PR dengan yang ada menggunakan kesamaan semantik.
3. Tutup dan komentari masalah dan PR yang sangat mirip untuk mengurangi duplikasi.

Konfigurasi

Anda dapat menyesuaikan ambang batas kesamaan dengan memodifikasi variabel SIMILARITY_THRESHOLD dalam skrip. Standarnya diatur ke 0,5.

Pemecahan masalah

• Periksa log server untuk pesan kesalahan apa pun.
• Pastikan semua variabel lingkungan diatur dengan benar.
• Pastikan file rsa.pem hadir dan diformat dengan benar.

Berkontribusi

Kontribusi dipersilakan! Silakan mengirimkan permintaan tarik.

Lisensi

Proyek ini dilisensikan di bawah lisensi MIT.

Sejarah Bintang