News Vector Store

Loja de vetores de notícias

Objetivo:

Large Language Models are designed to do human-language tasks effectively like Translation, Summarization, Reasoning, Classification, Capturing Contextual Information, Capture Semantics and Syntax of Languages, but recently after the emergance of GPT-3.5, and open-source Instruct models like Llama-2, Zephyer,..etc, we started to use LLMs in knowledge tasks like asking them about theories in Quantum Physics, Statistics, solving problems, debuging code, Forneça algumas informações sobre casos de uso de domínio específicos e muito mais ... é claro que muitas delas podem fornecer respostas a muitas perguntas, mas quando começamos a fazer sobre as perguntas que os LLMs não sabem de nada ou não podem memorizá-los, eles alucinam e fornecem respostas erradas.

Uma solução para esse problema para usar o LLMS de maneira eficaz e fornecê-los informações atualizadas é usando bancos de dados de vetores e técnicas de engenharia rápida para criar sistemas de geração agrupada por recuperação, que podem:

• Insira o conhecimento ou o contexto na entrada.
• Peça ao LM para incorporar o contexto em sua saída.

Essa técnica reduz a alucinação e fornece ao LLMS contexto (conhecimento) de que eles precisam responder de maneira eficaz.

Tecnologias e pré -requisitos:

• Python (> = 3,10, <3,12)
• poesia
• Conhecimento básico em NLP e LLMS
• Git & Make Command for Windows
• Docker

Configuração do projeto:

• Crie dois diretórios (dB, notícias) no diretório de dados

mkdir data/db
mkdir data/news

• Crie um diretório (STS) e clone um modelo de codificador a partir do huggingface que codificará suas consultas e dados para incorporação, eu recomendo usar o modelo

mkdir sts
cd sts
git lfs install
git clone https://huggingface.co/sentence-transformers/paraphrase-multilingual-MiniLM-L12-v2

• Crie um arquivo .env para manter suas chaves secretas.
• instalar dependências

poetry install

• Execute a imagem do Docker da API QDRANT DB

make qdrant

Como funciona?

É a etapa mais simples, apenas execute este comando

make run date= ' 2023-11-09 ' 

Experimentos:

• Consulte o banco de dados e pesquise pesquisas de notícias.
• Use API OpenAI e Extract News baseado em perguntas LLM-News-Reporter.