PWC RAG

用代码的论文的抹布

使用代码的论文的抹布是通过单击按钮来扫描大量ML研究的一种更容易的方法。抹布系统，可轻松地挖掘大量信息。您将以自然语言询问您的问题，它将根据与代码的论文中找到的相关论文回答。

在后端，该系统采用检索增强生成（RAG）框架供电，该框架依赖于一个名为UpStash的可扩展的无服务器矢量数据库，对于嵌入式，我们在HuggingFace上使用BGE模型，而MixTral-8x7b-Instruct-v0.1作为LLM从HuggingFace中使用。

在前端，该助手将被集成到具有Spallit构建的交互式易于部署的Web应用程序中。

要求

• 拥抱面API令牌
• Upstash帐户
• 创建索引后，Upstash URL和令牌

复制步骤

1. 克隆仓库

     git clone https://github.com/wittyicon29/PWC-RAG.git

2. 移至工作区目录

     cd PWC-RAG

3. 索引将数据索引到矢量数据库，您首先需要在船上创建一个索引，然后填写.env文件中的凭据：

    UPSTASH_URL=...
    UPSTASH_TOKEN=...
   

   运行以下命令：

     python -m src.index_papers --query " Mistral " --limit 200

   索引200块与“ Mistral”查询相匹配的结果。

   

   

4. 在本地运行简化应用程序

   在运行简化应用程序之前，您必须在“ .env”文件中设置HuggingFace API令牌：

     HUGGINGFACE_API_TOKEN=...

   现在您可以简化应用程序

     python -m streamlit run  src/app.py

   

笔记

• 您可以使用Langchain支持的任何嵌入模型
• 您可以在Langchain上尝试不同的LLM来评估RAG系统
• 该应用程序可以使用Docker或简化云在Google Cloud运行中部署。

参考

如何构建一个LLM驱动的应用程序与PaperswithCode聊天