News Vector Store

Magasin vectoriel

Objectif:

Les modèles de grandes langues sont conçus pour effectuer des tâches en langue humaine efficacement, comme la traduction, la résumé, le raisonnement, la classification, la capture d'informations contextuelles, la sémantique de capture et la syntaxe de langues, mais récemment après l'émergence de GPT-3.5, et des modèles d'open source comme LLAMA-2, Zephyer, .. etc. Code, fournissez des informations sur des cas d'utilisation spécifiques du domaine, et plus encore. Bien sûr, beaucoup d'entre eux peuvent fournir des réponses à beaucoup de questions, mais une fois que nous avons commencé à les poser sur les questions, les llms ne savent rien ou ils ne peuvent pas les mémoriser, ils hallucinent et fournissent de mauvaises réponses.

Une solution à ce problème pour utiliser efficacement les LLM et les fournir des informations à jour consiste à utiliser des bases de données vectorielles et des techniques d'ingénierie rapide pour créer des systèmes de génération auprès de la récupération, qui peuvent:

• Insérez des connaissances ou du contexte dans l'entrée.
• Demandez au LM d'incorporer le contexte dans sa sortie.

Cette technique réduit les hallucinations et fournit aux LLM un contexte (connaissance) dont ils ont besoin pour répondre efficacement aux questions.

Technologies et prérequis:

• Python (> = 3,10, <3.12)
• poésie
• Connaissances de base dans NLP & LLMS
• Git & Making Commande pour Windows
• docker

Configuration du projet:

• Créer deux répertoires (db, nouvelles) dans le répertoire de données

mkdir data/db
mkdir data/news

• Créer un répertoire (STS) et cloner un modèle d'encodeur à partir de HuggingFace qui codentra vos requêtes et données aux intégres, je recommande d'utiliser le modèle

mkdir sts
cd sts
git lfs install
git clone https://huggingface.co/sentence-transformers/paraphrase-multilingual-MiniLM-L12-v2

• Créez un fichier .env pour tenir vos clés secrètes.
• Installer des dépendances

poetry install

• Exécutez l'image docker de l'API DB QDrant

make qdrant

Comment ça marche?

c'est l'étape la plus simple exécute simplement cette commande

make run date= ' 2023-11-09 ' 

Expériences:

• Interrogez la base de données et recherchez la recherche d'actualités.
• Utilisez une API Openai et extraire les nouvelles basées sur des questions LLM-News-Reporter.