Verbesserte Rag-Architektur
Die Verwendung von Langchain als Framework verbesserte die Lappenarchitektur aus meinem vorherigen Projekt, wie z.
- Anstatt das Modell Localy auszuführen. Ich würde lieber API von zusammen verwenden. (Sie bieten auch ein besseres Modell, sodass das Ergebnis der Eingabeaufforderung besser ist). Ich könnte auch den Parameter des LLM für ein besseres Ergebnis oder eine Modellauswahl für meinen speziellen Anwendungsfall einstellen.
- Behebung des Chunking -Problems mit LLM (Semantic Chunker) als Chunker und nicht als manuelles Knacken.
- Schreiben Sie die Abfrage mit LLM neu, bevor Sie sie zum Abrufzweck zum besseren Abrufen in den Vektor verwandeln.
- Verwenden Sie sowohl semantische Suche (Kontext) als auch lexikalische Suche (Schlüsselwort) für den Vektor DB, das Faiss (Facebook AI -Ähnlichkeitssuche) ist.
- Wiederbelebung+Autokut -Algorithmus nach dem Abruf für eine bessere Ausgabe.
Ragas könnte auch in diesem Projekt implementiert werden, ein Benchmarking von Rag -Architektur. Es gibt eine andere Methode von Rag, die ich wirklich interessiert wie Graphrag.
Ps
- Mein semantischer Chunker -Lauf verrry langsam. Ich empfehle, dass Sie nur einen normalen Textsplitter mit fester Größe und Überlappung für eine schnellere Leistung verwenden
- Wenn Sie die DB nicht in lokal hosten möchten, können Sie Dienste wie Pinecone oder MongoDB Atlas verwenden und einen Cluster erstellen
- Ich empfehle Ihnen, ein anderes Modell für die Inferenz und den Umschreier zu verwenden. Finden Sie das Beste für Ihre Usecase
Skibidi Sigma Rizz +1000 Aura
