doppelganger

doppelgänger

Problema: Los mantenedores de código abierto pasan mucho tiempo administrando solicitudes duplicadas/relacionadas (doppelgänger).
Solución: Doppelgänger compara temas/PR recién enviados con los existentes para marcar automáticamente los problemas duplicados/relacionados (doppelgänger)/PRS

Temas: Vector DB, GitHub, Frase Abierta, Búsqueda de incrustación, RAG, puntajes de similitud

Screen.Recording.2024-04-27.at.4.57.11.pm.mov

Esta aplicación es una aplicación GitHub que compara automáticamente los problemas recién abierto con los existentes, cerrando y comentando sobre problemas muy similares para reducir la duplicación. Además, comenta comentarios sobre PRS basados ​​en el título y la descripción de los puntos a considerar.

Documentación de doppelganger

Cómo funciona

Cada issue['title'] y issue['body'] se convierte en representación vectorial utilizando minilm-l6-v2 .

Cada vector persiste en ChromAdB y realiza una búsqueda de similitud utilizando la búsqueda de similitud de coseno incorporada de ChromAdB. Junto con cada vector se encuentran issue_id y issue['title'] almacenados utilizando el argumento metadata de ChromAdB.

SIMILARITY_THRESHOLD (es decir, la distancia d en la que consideramos "similar") es configurable y puede establecerse en cualquier decimal entre 0 y 1 [1].

Doppelganger cerrará cualquier problema cuando la distancia del coseno d entre el problema recién enviado y el problema más similar es mayor que este umbral. De lo contrario, si el problema recién enviado es mayor que (similarty_threshold*0.5), dejará un comentario útil que indique el problema más similar/relacionado.

[1] Distancia de coseno

Los problemas y las solicitudes de extracción se almacenan en colecciones de ChromAdB por repositorio.

Requisitos previos

• Python 3.8+
• Una cuenta de Github
• Un servidor o plataforma de alojamiento para ejecutar la aplicación (por ejemplo, Heroku, Digitalocean, AWS)
• ollama

Instrucciones de configuración

1. Crea una aplicación GitHub

1. Vaya a la configuración de su cuenta GitHub.
2. Haga clic en "Configuración del desarrollador" en la barra lateral izquierda.
3. Seleccione "Aplicaciones GitHub" y haga clic en "Nueva aplicación GitHub".
4. Complete la información requerida:
   • Nombre de la aplicación GitHub: elija un nombre único (por ejemplo, "Campleer de similitud de emisión")
   • URL de la página de inicio: el sitio web de su aplicación o su perfil GitHub
   • URL de Webhook: la URL donde se ejecutará su servidor (por ejemplo, https://your-server.com/webhook)
   • Secreto de Webhook: genere un secreto seguro y guárdelo para su uso posterior
5. Establecer permisos:
   • Permisos de repositorio:
     • Problemas: Leer y escribir
     • Solicitudes de extracción: leer y escribir
     • Webhooks: solo lectura
   • Suscribirse a eventos:
     • Asuntos
     • Solicitud de solicitud
6. Crea la aplicación y anote la ID de la aplicación
7. Genere una clave privada y descargla (lo necesitará más tarde)

2. Prepare su entorno

1. Clon este repositorio:

    git clone https://github.com/dannyl1u/doppelganger.git
   cd doppelganger
   

2. Instalar dependencias:

    pip install -r requirements.txt
   

3. Para crear un nuevo archivo .env , ejecute el siguiente comando en su terminal:

cp .env.example .env

Abra el archivo .env recién creado y actualice las siguientes variables con sus propios valores:
* APP_ID : reemplace your_app_id_here con su ID de aplicación real.
* WEBHOOK_SECRET : reemplace your_webhook_secret_here con su secreto real de webhook.
* OLLAMA_MODEL : reemplace your_chosen_llm_model_here con su modelo LLM elegido (por ejemplo, "llama3.2"). Nota: Debe ser un modelo compatible con Ollama (ver: https://ollama.com/library para modelos compatibles)
* NGROK_DOMAIN : reemplace your_ngrok_domain_here con su dominio NGROK si tiene uno 4. Coloque la clave privada descargada en la raíz del proyecto y asígnele el nombre rsa.pem .

5. Ejecute la aplicación localmente

Inicie la aplicación Flask:

python3 app.py

La aplicación comenzará a ejecutarse en http: // localhost: 4000

3. Prepare dependencias e implementando (instrucciones NGROK y Ollama)

Usaremos ngrok por su simplicidad

Opción 1: URL pública generada en una nueva ventana de terminal, inicie NGROK para crear un túnel seguro para su servidor local:

ngrok http 4000

Ngrok generará una URL pública (por ejemplo, https://abc123.ngrok.io)

Append /webhook a la URL, por ejemplo, https://abc123.ngrok.io -> https://abc123.ngrok.io/webhook

En otra ventana terminal, inicia ollama

ollama run < an OLLAMA model here >

Opción 2: Uso de script shell con su propio dominio ngrok

Asegúrese de que todas las variables de entorno estén establecidas.

./run-dev.sh

4. Actualizar la configuración de la aplicación GitHub

1. Regrese a la configuración de su aplicación GitHub.
2. Actualice la URL de Webhook para señalar su aplicación implementada (por ejemplo, https://abc123.ngrok.io/webhook).

5. Instale la aplicación Github

1. Vaya a la página de configuración de su aplicación GitHub.
2. En la sección "Instalar aplicación", haga clic en "Instalar aplicación" o "Agregar instalación".
3. Elija la cuenta donde desea instalar la aplicación.
4. Seleccione el repositorio (o repositorios) donde desea usar la aplicación.
5. Confirme la instalación.

Uso

Una vez instalada, la aplicación automáticamente:

1. Monitorear nuevos problemas y PRS en los repositorios seleccionados.
2. Compare nuevos problemas y PR con los existentes utilizando similitud semántica.
3. Cierre y comente sobre problemas muy similares y PRS para reducir la duplicación.

Configuración

Puede ajustar el umbral de similitud modificando la variable SIMILARITY_THRESHOLD en el script. El valor predeterminado se establece en 0.5.

Solución de problemas

• Verifique los registros del servidor para obtener cualquier mensaje de error.
• Asegúrese de que todas las variables de entorno se establezcan correctamente.
• Verifique que el archivo rsa.pem esté presente y formateado correctamente.

Que contribuye

¡Las contribuciones son bienvenidas! No dude en enviar una solicitud de extracción.

Licencia

Este proyecto tiene licencia bajo la licencia MIT.

Historia de la estrella