doppelganger

Doppelgänger

问题：开源维护者花费大量时间管理重复/相关（Doppelgänger）问题并拉请求请求
解决方案： Doppelgänger将新提交的问题/PR与现有问题进行比较，以自动标记重复/相关（Doppelgänger）问题/PRS

主题：矢量数据库，github，开源，嵌入搜索，抹布，相似性得分

screen.recording.2024-04-27.at.4.57.1​​1.pm.mov

该应用程序是一个GITHUB应用程序，可以自动比较新开放的问题与现有问题，对高度相似的问题结束并评论以减少重复。此外，它根据标题和描述来评论PRS的反馈，以考虑要考虑的要点。

Doppelganger文档

它如何工作

每个issue['title']和issue['body']使用Minilm-L6-V2转换为矢量表示。

每个向量都在Chromadb中持续存在，并使用Chromadb的内置余弦相似性搜索执行相似性搜索。与每个向量一起使用issue_id ，并使用Chromadb的metadata参数存储issue['title'] 。

SIMILARITY_THRESHOLD （即我们认为“相似”的距离d ）是可配置的，并且可以设置为0和1 [1]之间的任何小数。

当新提交的问题与最相似的问题之间的余弦距离d大于此阈值时，Doppelganger将关闭任何问题。否则，如果新提交的问题大于（Similarty_threshold*0.5），则将留下有用的评论，表明最相似/相关的问题。

[1]余弦距离

问题和拉的请求存储在每个存储库Chromadb集合中。

先决条件

• Python 3.8+
• GitHub帐户
• 服务器或托管平台运行该应用程序（例如，Heroku，Digitalocean，AWS）
• 霍拉马

设置说明

1。创建一个github应用

1. 转到您的GitHub帐户设置。
2. 单击左侧栏中的“开发人员设置”。
3. 选择“ GitHub应用程序”，然后单击“新GitHub应用程序”。
4. 填写所需信息：
   • github应用程序名称：选择一个唯一名称（例如，“问题相似性检查器”）
   • 主页URL：您的应用程序网站或您的GitHub个人资料
   • Webhook URL：服务器将在其中运行的URL（例如，https://your-server.com/webhook）
   • webhook秘密：生成一个安全的秘密并保存以供以后使用
5. 设置权限：
   • 存储库权限：
     • 问题：读写
     • 拉请求：读写
     • Webhooks：只读
   • 订阅事件：
     • 问题
     • 拉请求
6. 创建应用并记下应用程序ID
7. 生成一个私钥并下载（稍后您需要）

2.准备您的环境

1. 克隆这个存储库：

    git clone https://github.com/dannyl1u/doppelganger.git
   cd doppelganger
   

2. 安装依赖项：

    pip install -r requirements.txt
   

3. 要创建一个新的.env文件，请在终端中运行以下命令：

cp .env.example .env

打开新创建的.env文件并使用您自己的值更新以下变量：
* APP_ID ：用您的实际应用ID替换your_app_id_here 。
* WEBHOOK_SECRET ：用您的实际webhook秘密替换your_webhook_secret_here 。
* OLLAMA_MODEL ：用您选择的llm型号（例如“ llama3.2”）替换your_chosen_llm_model_here 。注意：它必须是Ollama支持的模型（请参阅：https：//ollama.com/library for suppled Models）
* NGROK_DOMAIN ：如果您有一个4，请用ngrok域替换your_ngrok_domain_here 。将下载的私钥放在项目root中，并将其命名为rsa.pem 。

5. 本地运行应用程序

启动烧瓶应用程序：

python3 app.py

该应用程序将开始在http：// localhost上运行：4000

3。准备依赖和部署（Ngrok和Ollama说明）

我们将使用ngrok来简单

选项1：在新终端窗口中生成的公共URL ，启动NGrok，为您的本地服务器创建安全的隧道：

ngrok http 4000

Ngrok将生成一个公共网址（例如，https://abc123.ngrok.io）

append /webhook到URL，例如https://abc123.ngrok.io-> https：//abc123.ngrok.io/webhook

在另一个终端窗口中，启动Ollama

ollama run < an OLLAMA model here >

选项2：将Shell脚本与您自己的Ngrok域使用

确保设置环境变量。

./run-dev.sh

4。更新GitHub应用程序设置

1. 返回您的GitHub应用程序设置。
2. 更新Webhook URL，以指向您已部署的应用程序（例如，https://abc123.ngrok.io/webhook）。

5。安装github应用程序

1. 转到您的GitHub应用程序的设置页面。
2. 在“安装应用程序”部分中，单击“安装应用程序”或“添加安装”。
3. 选择要安装应用程序的帐户。
4. 选择要使用该应用的存储库（或存储库）。
5. 确认安装。

用法

安装后，该应用将自动：

1. 监视选定存储库中的新问题和PR。
2. 使用语义相似性将新问题与现有问题进行比较。
3. 关闭并评论高度相似的问题和PR，以减少重复。

配置

您可以通过修改脚本中的SIMILARITY_THRESHOLD变量来调整相似性阈值。默认设置为0.5。

故障排除

• 检查服务器日志是否有任何错误消息。
• 确保正确设置所有环境变量。
• 验证是否存在rsa.pem文件并正确格式化。

贡献

欢迎捐款！请随时提交拉动请求。

执照

该项目已根据MIT许可获得许可。

星历史