Amélioration de l'architecture
L'utilisation de Langchain comme cadre a amélioré l'architecture de chiffon de mon projet précédent, comme
- Plutôt que d'exécuter le modèle local. Je préfère utiliser l'API de Together.ai pour ne pas détruire mon ordinateur portable en le faisant. (Ils fournissent également un meilleur modèle afin que le résultat de l'invite soit mieux Wayyyy). Je pouvais également régler le paramètre du LLM pour un meilleur résultat ou peut-être une sélection de modèle pour mon cas d'utilisation spécifique.
- Fixer le problème de la chasse en utilisant LLM (Chunker sémantique) comme Chunker plutôt que dans un morceau manuel.
- Réécrivez la requête en utilisant LLM avant de la transformer en vecteur à des fins de récupération pour une meilleure récupération.
- Utilisation à la fois de recherche sémantique (contexte) et de recherche lexicale (mot-clé) pour la base de données vectorielle, qui est FAISS (Facebook Ai Simility Search).
- Algorithme RERANKING + AutoCUT après la récupération pour une meilleure sortie.
Les Ragas pourraient également être mis en œuvre dans ce projet, une analyse compatible de l'architecture de chiffon. Il existe une autre méthode de chiffon qui m'intéresse vraiment comme Graphrag.
Ps
- Mon Chunker sémantique fonctionne verrry lent, je vous conseille d'utiliser simplement un séparateur de texte normal avec une taille fixe et un chevauchement pour des performances plus rapides
- Si vous ne souhaitez pas héberger la base de données en local, vous pouvez utiliser des services comme Pinecone ou MongoDB Atlas et créer un cluster
- Je vous conseille d'utiliser un autre modèle pour l'inférence et le réécriture, je trouve le meilleur pour votre usecase
Skibidi Sigma Rizz +1000 Aura
