doppelganger

Doppelgänger

問題：開源維護者花費大量時間管理重複/相關（Doppelgänger）問題並拉請求請求
解決方案： Doppelgänger將新提交的問題/PR與現有問題進行比較，以自動標記重複/相關（Doppelgänger）問題/PRS

主題：矢量數據庫，github，開源，嵌入搜索，抹布，相似性得分

screen.recording.2024-04-27.at.4.57.1​​1.pm.mov

該應用程序是一個GITHUB應用程序，可以自動比較新開放的問題與現有問題，對高度相似的問題結束並評論以減少重複。此外，它根據標題和描述來評論PRS的反饋，以考慮要考慮的要點。

Doppelganger文檔

它如何工作

每個issue['title']和issue['body']使用Minilm-L6-V2轉換為矢量表示。

每個向量都在Chromadb中持續存在，並使用Chromadb的內置餘弦相似性搜索執行相似性搜索。與每個向量一起使用issue_id ，並使用Chromadb的metadata參數存儲issue['title'] 。

SIMILARITY_THRESHOLD （即我們認為“相似”的距離d ）是可配置的，並且可以設置為0和1 [1]之間的任何小數。

當新提交的問題與最相似的問題之間的餘弦距離d大於此閾值時，Doppelganger將關閉任何問題。否則，如果新提交的問題大於（Similarty_threshold*0.5），則將留下有用的評論，表明最相似/相關的問題。

[1]餘弦距離

問題和拉的請求存儲在每個存儲庫Chromadb集合中。

先決條件

• Python 3.8+
• GitHub帳戶
• 服務器或託管平台運行該應用程序（例如，Heroku，Digitalocean，AWS）
• 霍拉馬

設置說明

1。創建一個github應用

1. 轉到您的GitHub帳戶設置。
2. 單擊左側欄中的“開發人員設置”。
3. 選擇“ GitHub應用程序”，然後單擊“新GitHub應用程序”。
4. 填寫所需信息：
   • github應用程序名稱：選擇一個唯一名稱（例如，“問題相似性檢查器”）
   • 主頁URL：您的應用程序網站或您的GitHub個人資料
   • Webhook URL：服務器將在其中運行的URL（例如，https://your-server.com/webhook）
   • webhook秘密：生成一個安全的秘密並保存以供以後使用
5. 設置權限：
   • 存儲庫權限：
     • 問題：讀寫
     • 拉請求：讀寫
     • Webhooks：只讀
   • 訂閱事件：
     • 問題
     • 拉請求
6. 創建應用並記下應用程序ID
7. 生成一個私鑰並下載（稍後您需要）

2.準備您的環境

1. 克隆這個存儲庫：

    git clone https://github.com/dannyl1u/doppelganger.git
   cd doppelganger
   

2. 安裝依賴項：

    pip install -r requirements.txt
   

3. 要創建一個新的.env文件，請在終端中運行以下命令：

cp .env.example .env

打開新創建的.env文件並使用您自己的值更新以下變量：
* APP_ID ：用您的實際應用ID替換your_app_id_here 。
* WEBHOOK_SECRET ：用您的實際webhook秘密替換your_webhook_secret_here 。
* OLLAMA_MODEL ：用您選擇的llm型號（例如“ llama3.2”）替換your_chosen_llm_model_here 。注意：它必須是Ollama支持的模型（請參閱：https：//ollama.com/library for suppled Models）
* NGROK_DOMAIN ：如果您有一個4，請用ngrok域替換your_ngrok_domain_here 。將下載的私鑰放在項目root中，並將其命名為rsa.pem 。

5. 本地運行應用程序

啟動燒瓶應用程序：

python3 app.py

該應用程序將開始在http：// localhost上運行：4000

3。準備依賴和部署（Ngrok和Ollama說明）

我們將使用ngrok來簡單

選項1：在新終端窗口中生成的公共URL ，啟動NGrok，為您的本地服務器創建安全的隧道：

ngrok http 4000

Ngrok將生成一個公共網址（例如，https://abc123.ngrok.io）

append /webhook到URL，例如https://abc123.ngrok.io-> https：//abc123.ngrok.io/webhook

在另一個終端窗口中，啟動Ollama

ollama run < an OLLAMA model here >

選項2：將Shell腳本與您自己的Ngrok域使用

確保設置環境變量。

./run-dev.sh

4。更新GitHub應用程序設置

1. 返回您的GitHub應用程序設置。
2. 更新Webhook URL，以指向您已部署的應用程序（例如，https://abc123.ngrok.io/webhook）。

5。安裝github應用程序

1. 轉到您的GitHub應用程序的設置頁面。
2. 在“安裝應用程序”部分中，單擊“安裝應用程序”或“添加安裝”。
3. 選擇要安裝應用程序的帳戶。
4. 選擇要使用該應用的存儲庫（或存儲庫）。
5. 確認安裝。

用法

安裝後，該應用將自動：

1. 監視選定存儲庫中的新問題和PR。
2. 使用語義相似性將新問題與現有問題進行比較。
3. 關閉並評論高度相似的問題和PR，以減少重複。

配置

您可以通過修改腳本中的SIMILARITY_THRESHOLD變量來調整相似性閾值。默認設置為0.5。

故障排除

• 檢查服務器日誌是否有任何錯誤消息。
• 確保正確設置所有環境變量。
• 驗證是否存在rsa.pem文件並正確格式化。

貢獻

歡迎捐款！請隨時提交拉動請求。

執照

該項目已根據MIT許可獲得許可。

星曆史