doppelganger

Doppelgänger

Проблема: Совместители с открытым исходным кодом тратят много времени на управление повторяющимися/связанными (Doppelgänger) и запросами на получение запросов
Решение: Doppelgänger сравнивает вновь представленные проблемы/PRS с существующими, чтобы автоматически помечать дубликат/связанные (Doppelgänger) проблемы/PRS

Темы: Vector DB, GitHub, с открытым исходным кодом, поиск по внедрению, тряпка, оценки сходства

Screen.recording.2024-04-27.at.4.57.11.pm.mov

Это приложение представляет собой приложение GitHub, которое автоматически сравнивает вновь открытые проблемы с существующими, закрывая и комментируя очень похожие проблемы, чтобы уменьшить дублирование. Кроме того, он комментирует отзывы о PRS на основе заголовка и описания для рассмотрения очков.

Документация Doppelganger

Как это работает

Каждая issue['title'] и issue['body'] преобразуется в векторное представление с использованием Minilm-L6-V2 .

Каждый вектор сохраняется в ChromADB и выполняет поиск сходства, используя встроенный поиск сходства Cosine ChromADB. Наряду с каждым вектором issue_id и issue['title'] хранятся с использованием аргумента metadata Chromadb.

SIMILARITY_THRESHOLD (то есть расстояние d , в котором мы считаем «аналогичным») настраивается и может быть установлен на любой десятичный десятичный цвет между 0 и 1 [1].

Doppelganger закроет любую проблему, когда расстояние косинуса d между недавно представленной проблемой, и наиболее похожая проблема больше, чем этот порог. В противном случае, если недавно отправленная проблема больше, чем (similarty_threshold*0.5), он оставит полезный комментарий, указывающий на наиболее похожий/связанный с этим вопрос.

[1] Косинусное расстояние

Проблемы и запросы на привлечение хранятся в коллекциях ChromADB на репозиторий.

Предварительные условия

• Python 3.8+
• Учетная запись GitHub
• Сервер или хостинговая платформа для запуска приложения (например, Heroku, Digitalocean, AWS)
• Оллама

Инструкции по настройке

1. Создать приложение GitHub

1. Перейдите в настройки учетной записи GitHub.
2. Нажмите «Настройки разработчика» на левой боковой панели.
3. Выберите «Приложения GitHub» и нажмите «Новое приложение GitHub».
4. Заполните необходимую информацию:
   • Имя приложения GitHub: выберите уникальное имя (например, «Проверка сходства выпуска»)
   • URL -адрес домашней страницы: веб -сайт вашего приложения или ваш профиль GitHub
   • URL-адрес webhook: URL, где будет запущен ваш сервер (например, https://your-server.com/webhook)
   • Webhook Secret: генерируйте защищенный секрет и сохраните его для последующего использования
5. Установить разрешения:
   • Репозиционные разрешения:
     • Проблемы: Читать и написать
     • Запросы на вытягивание: читать и написать
     • Webhooks: только для чтения
   • Подпишитесь на события:
     • Проблемы
     • Потянуть запрос
6. Создать приложение и отметьте идентификатор приложения
7. Создайте закрытый ключ и загрузите его (вам понадобится это позже)

2. Подготовьте окружающую среду

1. Клонировать это хранилище:

    git clone https://github.com/dannyl1u/doppelganger.git
   cd doppelganger
   

2. Установить зависимости:

    pip install -r requirements.txt
   

3. Чтобы создать новый файл .env , запустите следующую команду в вашем терминале:

cp .env.example .env

Откройте недавно созданный файл .env и обновите следующие переменные с помощью собственных значений:
* APP_ID : замените your_app_id_here на свой фактический идентификатор приложения.
* WEBHOOK_SECRET : замените your_webhook_secret_here на ваш фактический секрет Webhook.
* OLLAMA_MODEL : замените your_chosen_llm_model_here на выбранную модель LLM (например, "llama3.2"). ПРИМЕЧАНИЕ. Это должна быть поддерживаемая модель Ollama (см.: Https://ollama.com/library для поддерживаемых моделей)
* NGROK_DOMAIN : замените your_ngrok_domain_here с вашим доменом ngrok, если у вас есть один 4. Поместите загруженный закрытый ключ в корне проекта и имя его rsa.pem .

5. Запустите приложение локально

Запустите приложение Flask:

python3 app.py

Приложение начнет работать на http: // localhost: 4000

3. Подготовьте зависимости и развертывание (инструкции NGROK и OLLAMA)

Мы будем использовать Ngrok для его простоты

Вариант 1: сгенерированный публичный URL в новом окне терминала, запустите NGROK, чтобы создать защищенный туннель для вашего локального сервера:

ngrok http 4000

Ngrok будет генерировать публичный URL (например, https://abc123.ngrok.io)

Приложение /webhook к URL, например, https://abc123.ngrok.io -> https://abc123.ngrok.io/webhook

В другом окне терминала запустите Ollama

ollama run < an OLLAMA model here >

Вариант 2: Использование сценария оболочки с собственным доменом NGROK

Убедитесь, что переменные среды установлены.

./run-dev.sh

4. Обновление настройки приложения GitHub

1. Вернитесь к настройкам приложения GitHub.
2. Обновите URL -адрес webhook, чтобы указать на ваше развернутое приложение (например, https://abc123.ngrok.io/webhook).

5. Установите приложение GitHub

1. Перейдите на страницу настроек приложения GitHub.
2. В разделе «Установить приложение» нажмите «Установить приложение» или «Добавить установку».
3. Выберите учетную запись, где вы хотите установить приложение.
4. Выберите репозиторий (или репозитории), где вы хотите использовать приложение.
5. Подтвердите установку.

Использование

После установки приложение будет автоматически:

1. Следите за новыми проблемами и PR в выбранных репозиториях.
2. Сравните новые проблемы и PR с существующими, используя семантическое сходство.
3. Закройте и прокомментируйте очень похожие проблемы и PR, чтобы уменьшить дублирование.

Конфигурация

Вы можете настроить порог сходства, изменяя переменную SIMILARITY_THRESHOLD в скрипте. По умолчанию установлено 0,5.

Поиск неисправностей

• Проверьте журналы сервера для любых сообщений об ошибках.
• Убедитесь, что все переменные среды правильно установлены.
• Убедитесь, что файл rsa.pem присутствует и правильно отформатирован.

Внося

Взносы приветствуются! Пожалуйста, не стесняйтесь отправить запрос на привлечение.

Лицензия

Этот проект лицензирован по лицензии MIT.

Звездная история