News Vector Store

Tienda de noticias

Objetivo:

Large Language Models are designed to do human-language tasks effectively like Translation, Summarization, Reasoning, Classification, Capturing Contextual Information, Capture Semantics and Syntax of Languages, but recently after the emergance of GPT-3.5, and open-source Instruct models like Llama-2, Zephyer,..etc, we started to use LLMs in knowledge tasks like asking them about theories in Quantum Physics, Statistics, solving problems, debuging code, provide Alguna información sobre casos de uso de dominios específicos y más ... Por supuesto, muchas de ellas pueden proporcionar respuestas a muchas preguntas, pero una vez que comenzamos a hacerles preguntas sobre las preguntas, los LLM no saben nada o no pueden memorizarlas, alucinan y brindan respuestas incorrectas.

Una solución a este problema para usar LLM de manera efectiva, y proporcionarlos información actualizada es mediante el uso de bases de datos vectoriales y técnicas de ingeniería rápida para construir sistemas de generación de recuperación, lo que puede:

• Inserte el conocimiento o el contexto en la entrada.
• Pídale al LM que incorpore el contexto en su salida.

Esta técnica reduce la alucinación y proporciona al contexto (conocimiento) que necesitan responder preguntas de manera efectiva.

Tecnologías y requisitos previos:

• Python (> = 3.10, <3.12)
• poesía
• Conocimientos básicos en NLP & LLMS
• Git y hacer comando para Windows
• estibador

Configuración del proyecto:

• Cree dos directorios (DB, noticias) en el directorio de datos

mkdir data/db
mkdir data/news

• Cree un directorio (STS) y clone un modelo de codificador desde Huggingface que codificará sus consultas y datos a integridades, recomiendo usar el modelo

mkdir sts
cd sts
git lfs install
git clone https://huggingface.co/sentence-transformers/paraphrase-multilingual-MiniLM-L12-v2

• Crear archivo .env para mantener sus claves secretas.
• instalar dependientes

poetry install

• Ejecute la imagen Docker de Qdrant DB API

make qdrant

¿Cómo funciona?

Es el paso más simple simplemente ejecutar este comando

make run date= ' 2023-11-09 ' 

Experimentos:

• Consulte la base de datos y busque la búsqueda de noticias.
• Use la API de OpenAI y extraiga noticias basadas en preguntas LLM-News-Reporter.