Seedly Articles RAG

带有稀疏文章的检索增强一代

大纲

在这个项目中，我在使用GROQ API访问的Llama3-70B-8192 LLM上建造了一个抹布。用于抹布的文档是通过SEADLY博客的Webcrapping检索的，该博客包含有关个人理财的文章。我检索到的文章主要是关于在新加坡购买财产和保险单。目的是开发一种语言模型，该模型在上下文上意识到并能够回答新加坡背景下与个人理财有关的问题。

方法

我使用砂纸来刮擦文章，全米尔-L6-V2模型将文本块转换为嵌入，而Faiss矢量商店进行文本存储和检索。最后，我使用Langchain接口所有不同组件，从文本块的检索到促使结构和链接以实现所需的输出。

最终输出是通过链接两个提示而生成的，这是第一个总结提供的上下文的提示（与用户提出的问题的最相似的文本块最相似的文本块）以及第二个生成实际响应的提示。这是为了确保用于生成响应的提示不会变得太长（如果包含完整的文本块作为上下文），从而允许向LLM提供更多上下文。

提示的链接按预期工作，文本块的总结成功地添加到了第二个提示中。管道的性能取决于提供的上下文文档的质量。

脚本

• Webscrapping：apent_spider.py
• 创建矢量商店：faiss_db.py
• 抹布实现：savely_rag.py

反思

在这个项目中，我学会了如何使用兰班链实施抹布，如何使用及时的模板与LLM接口，并使用Langchain Expression语言（LCEL）及时链接，以及如何使用矢量存储和与Langchain一起嵌入功能。我认为，LLM应用程序开发的这些基本概念将使我将来构建更复杂的LLM应用程序。