Improved RAG Architecture

改進的抹布結構

使用Langchain作為框架改進了我以前項目的破布架構，例如

1. 而不是在本地運行模型。我寧願一起使用API​​。 （它們還提供了更好的模型，因此提示的結果更好）。我還可以調整LLM的參數，以獲得更好的結果，也許可以為我的特定用例選擇模型選擇。
2. 通過使用LLM（語義塊）作為塊而不是手動塊來解決分塊問題。
3. 使用LLM重寫查詢，然後將其變成矢量以檢索目的以更好地檢索。
4. 使用語義搜索（上下文）和詞彙搜索（關鍵字），即Faiss（Facebook AI相似性搜索）。
5. 回收後重新騎行+自動啟動算法以獲得更好的輸出。

拉加斯也可以在此項目中實現，這是一個抹布架構基準，它還有其他我真的很感興趣的抹布方法。

PS

• 我的語義塊速度緩慢，我建議您只使用帶有固定尺寸的普通文本分離器，並且重疊以更快地性能
• 如果您不想在本地託管DB，則可以使用Pinecone或MongoDB Atlas之類的服務並創建一個群集
• 我建議您使用其他模型進行推理和重寫器，找到最適合您的用戶的模型
  

Skibidi Sigma Rizz +1000 Aura