doppelganger

Doppelgänger

Problema: Os mantenedores de código aberto gastam muito tempo gerenciando problemas duplicados/relacionados (doppelgänger) e solicitações de puxar
Solução: Doppelgänger compara questões/PRs submetidos com os existentes para sinalizar automaticamente duplicados/relacionados (doppelgänger)/PRS

Tópicos: DB de vetor, github, código aberto, pesquisa de incorporação, pano, pontuações de similaridade

Screen.Recording.2024-04-27.at.4.57.11.pm.mov

Este aplicativo é um aplicativo do GitHub que compara automaticamente problemas recém -abertos com os existentes, fechando e comentando problemas altamente semelhantes para reduzir a duplicação. Além disso, ele comenta o feedback sobre os PRs com base no título e na descrição dos pontos a serem considerados.

Documentação Doppelganger

Como funciona

Cada issue['title'] e issue['body'] são convertidos em representação vetorial usando o minilm-l6-v2 .

Cada vetor é persistido no Chromadb e realiza pesquisa de similaridade usando a pesquisa de similaridade de cosseno interno do Chromadb. Juntamente com cada vetor, é issue_id e issue['title'] armazenados usando o argumento metadata do Chromadb.

SIMILARITY_THRESHOLD (ou seja, a distância d na qual consideramos "semelhante") é configurável e pode ser definida como qualquer decimal entre 0 e 1 [1].

O doppelganger fechará qualquer problema quando a distância do cosseno d entre a questão recém -enviada e o problema mais semelhante for maior que esse limite. Caso contrário, se a emissão recém -enviada for maior que (Similarty_threshold*0.5), deixará um comentário útil indicando o problema mais semelhante/relacionado.

[1] distância cosseno

Questões e solicitações de tração são armazenadas em coleções Chromadb por repositório.

Pré -requisitos

• Python 3.8+
• Uma conta do GitHub
• Um servidor ou plataforma de hospedagem para executar o aplicativo (por exemplo, Heroku, Digitalocean, AWS)
• Ollama

Instruções de configuração

1. Crie um aplicativo GitHub

1. Vá para as configurações da sua conta do GitHub.
2. Clique em "Configurações do desenvolvedor" na barra lateral esquerda.
3. Selecione "Github Apps" e clique em "New Github App".
4. Preencha as informações necessárias:
   • Nome do aplicativo do Github: Escolha um nome exclusivo (por exemplo, "Problema de verificador de similaridade")
   • URL da página inicial: o site do seu aplicativo ou seu perfil do GitHub
   • Webhook URL: O URL onde seu servidor estará em execução (por exemplo, https://your-sherver.com/webhook)
   • Webhook Secret: Gere um segredo seguro e salve -o para uso posterior
5. Defina permissões:
   • Permissões de repositório:
     • Questões: Leia e escreva
     • Solicitações de puxar: Leia e escreva
     • Webhooks: somente leitura
   • Inscreva -se nos eventos:
     • Problemas
     • Solicitação de puxar
6. Crie o aplicativo e anote o ID do aplicativo
7. Gere uma chave privada e faça o download (você precisará disso mais tarde)

2. Prepare seu ambiente

1. Clone este repositório:

    git clone https://github.com/dannyl1u/doppelganger.git
   cd doppelganger
   

2. Instale dependências:

    pip install -r requirements.txt
   

3. Para criar um novo arquivo .env , execute o seguinte comando em seu terminal:

cp .env.example .env

Abra o arquivo .env recém -criado e atualize as seguintes variáveis ​​com seus próprios valores:
* APP_ID : Substitua your_app_id_here pelo seu ID do aplicativo real.
* WEBHOOK_SECRET : Substitua your_webhook_secret_here pelo seu segredo real.
* OLLAMA_MODEL : Substitua your_chosen_llm_model_here pelo modelo LLM escolhido (por exemplo, "llama3.2"). Nota: Deve ser um modelo suportado por Ollama (consulte: https://ollama.com/library para modelos suportados)
* NGROK_DOMAIN : Substitua your_ngrok_domain_here pelo seu domínio NGROK Se você tiver um 4. Coloque a chave privada baixada na raiz do projeto e nomeie rsa.pem .

5. Execute o aplicativo localmente

Inicie o aplicativo Flask:

python3 app.py

O aplicativo começará a ser executado em http: // localhost: 4000

3. Prepare dependências e implante (instruções Ngrok e Ollama)

Vamos usar o NGrok por sua simplicidade

Opção 1: Gerado URL público em uma nova janela do terminal, inicie o NGROK para criar um túnel seguro para o servidor local:

ngrok http 4000

NGrok gerará um URL público (por exemplo, https://abc123.ngrok.io)

Anexar /webhook ao URL, por exemplo, https://abc123.ngrok.io -> https://abc123.ngrok.io/webhook

Em outra janela do terminal, comece o ollama

ollama run < an OLLAMA model here >

Opção 2: Usando script de shell com seu próprio domínio NGROK

Verifique se as variáveis ​​de ambiente estão todas definidas.

./run-dev.sh

4. Atualize as configurações do aplicativo GitHub

1. Volte para as configurações do aplicativo Github.
2. Atualize o URL da webhook para apontar para o seu aplicativo implantado (por exemplo, https://abc123.ngrok.io/webhook).

5. Instale o aplicativo GitHub

1. Vá para a página Configurações do aplicativo Github.
2. Na seção "Instalar aplicativo", clique em "Instalar aplicativo" ou "Adicionar instalação".
3. Escolha a conta em que deseja instalar o aplicativo.
4. Selecione o repositório (ou repositórios) onde deseja usar o aplicativo.
5. Confirme a instalação.

Uso

Depois de instalado, o aplicativo será automaticamente:

1. Monitore novos problemas e PRs nos repositórios selecionados.
2. Compare novos problemas e os PRs com os existentes usando similaridade semântica.
3. Feche e comente sobre questões altamente semelhantes e PRs para reduzir a duplicação.

Configuração

Você pode ajustar o limite de similaridade modificando a variável SIMILARITY_THRESHOLD no script. O padrão é definido como 0,5.

Solução de problemas

• Verifique os logs do servidor para obter mensagens de erro.
• Verifique se todas as variáveis ​​de ambiente estão definidas corretamente.
• Verifique se o arquivo rsa.pem está presente e formatado corretamente.

Contribuindo

As contribuições são bem -vindas! Sinta -se à vontade para enviar uma solicitação de tração.

Licença

Este projeto está licenciado sob a licença do MIT.

História da estrela