Seedly Articles RAG
1.0.0
Dans ce projet, j'ai construit un chiffon sur l'API LLAMA3-70B-8192, accessible à l'aide de l'API Groq. Les documents utilisés pour RAG ont été récupérés via le bilan de semences du blog Seedly, qui contient des articles sur les finances personnelles. Les articles que j'ai récupérés concernaient principalement l'achat de biens à Singapour et les polices d'assurance. L'objectif est de développer un modèle linguistique qui est plus contextuellement conscient et capable de répondre aux questions liées à la finance personnelle dans le contexte de Singapour.
J'ai utilisé le scroty pour gratter les articles, le modèle All-Minilm-L6-V2 pour la conversion de morceaux de texte en intégres et le magasin de vecteur Faish pour le stockage et la récupération de texte. Enfin, j'ai utilisé Langchain pour interfacer tous les différents composants, de la récupération des morceaux de texte pour inciter la structuration et le chaînage pour atteindre la sortie souhaitée.
La sortie finale est générée par deux invites, la première à résumer le contexte fourni (les 3 premiers morceaux de texte les plus similaires à la question de l'utilisateur posé) et le second pour générer une réponse réelle. Il s'agit de s'assurer que l'invite utilisée pour générer des réponses ne devient pas trop longue (si elle contient des morceaux de texte pleine longueur comme contexte), permettant à plus de contexte d'être fourni à la LLM.
Le chaînage des invites fonctionne comme prévu, avec une résumé des morceaux de texte a ajouté avec succès à la deuxième invite. Les performances du pipeline varient en fonction de la qualité des documents de contexte fournis.
En faisant ce projet, j'ai appris à implémenter un chiffon à l'aide de Langchain, à interfacer un LLM avec des modèles rapides et un chaînage rapide à l'aide du langage d'expression de Langchain (LCEL), et comment utiliser les magasins vectoriels et intégrer des fonctions avec Langchain. Je crois que ces concepts fondamentaux du développement des applications LLM me permettront de créer des applications LLM plus complexes à l'avenir.
