Improved RAG Architecture

改进的抹布结构

使用Langchain作为框架改进了我以前项目的破布架构，例如

1. 而不是在本地运行模型。我宁愿一起使用API​​。 （它们还提供了更好的模型，因此提示的结果更好）。我还可以调整LLM的参数，以获得更好的结果，也许可以为我的特定用例选择模型选择。
2. 通过使用LLM（语义块）作为块而不是手动块来解决分块问题。
3. 使用LLM重写查询，然后将其变成矢量以检索目的以更好地检索。
4. 使用语义搜索（上下文）和词汇搜索（关键字），即Faiss（Facebook AI相似性搜索）。
5. 回收后重新骑行+自动启动算法以获得更好的输出。

Ragas也可以在此项目中实现，这是一个RAG架构基准，它还有其他我真的很感兴趣的抹布方法。

PS

• 我的语义块速度缓慢，我建议您只使用带有固定尺寸的普通文本分离器，并且重叠以更快地性能
• 如果您不想在本地托管DB，则可以使用Pinecone或MongoDB Atlas之类的服务并创建一个群集
• 我建议您使用其他模型进行推理和重写器，找到最适合您的用户的模型
  

Skibidi Sigma Rizz +1000 Aura