Seedly Articles RAG

帶有稀疏文章的檢索增強一代

大綱

在這個項目中，我在使用GROQ API訪問的Llama3-70B-8192 LLM上建造了一個抹布。用於抹布的文檔是通過SEADLY博客的Webcrapping檢索的，該博客包含有關個人理財的文章。我檢索到的文章主要是關於在新加坡購買財產和保險單。目的是開發一種語言模型，該模型在上下文上意識到並能夠回答新加坡背景下與個人理財有關的問題。

方法

我使用砂紙來刮擦文章，全米爾-L6-V2模型將文本塊轉換為嵌入，而Faiss矢量商店進行文本存儲和檢索。最後，我使用Langchain接口所有不同組件，從文本塊的檢索到促使結構和鏈接以實現所需的輸出。

最終輸出是通過鏈接兩個提示而生成的，這是第一個總結提供的上下文的提示（與用戶提出的問題的最相似的文本塊最相似的文本塊）以及第二個生成實際響應的提示。這是為了確保用於生成響應的提示不會變得太長（如果包含完整的文本塊作為上下文），從而允許向LLM提供更多上下文。

提示的鏈接按預期工作，文本塊的總結成功地添加到了第二個提示中。管道的性能取決於提供的上下文文檔的質量。

腳本

• Webscrapping：apent_spider.py
• 創建矢量商店：faiss_db.py
• 抹布實現：savely_rag.py

反思

在這個項目中，我學會瞭如何使用蘭班鏈實施抹布，如何使用及時的模板與LLM接口，並使用Langchain Expression語言（LCEL）及時鏈接，以及如何使用矢量存儲和與Langchain一起嵌入功能。我認為，LLM應用程序開發的這些基本概念將使我將來構建更複雜的LLM應用程序。