News Vector Store

新闻向量商店

客观的：

大型语言模型旨在有效地执行人类语言任务，例如翻译，汇总，推理，分类，捕获上下文信息，捕获语言的语义和语言语法，但是最近出现GPT-3.5以及开源指导模型，以及诸如Llama-2，Zephyer，Zephyer等的开源模型，例如，我们开始在知识任务中使用LLM，例如，我们开始询问量子的范围。有关特定域用例以及更多信息的信息当然可以为很多问题提供答案，但是一旦我们开始向他们询问有关问题LLM的问题，LLMS一无所知，或者他们无法记住它们，他们会幻觉并提供错误的答案。

解决此问题的解决方案，可以有效地使用LLMS，并通过使用矢量数据库和及时工程技术来构建检索效果的生成系统，可以：可以：

• 将知识或上下文插入输入。
• 要求LM将上下文纳入其输出。

该技术减少了幻觉，并为LLM提供了有效回答问题的上下文（知识）。

技术和先决条件：

• python（> = 3.10，<3.12）
• 诗
• NLP和LLM中的基本知识
• git＆make windows命令
• Docker

项目设置：

• 在数据目录中创建两个目录（DB，新闻）

mkdir data/db
mkdir data/news

• 创建一个目录（STS），然后从hugingface中克隆一个编码器模型，该模型将您的查询和数据编码为嵌入，我建议使用模型

mkdir sts
cd sts
git lfs install
git clone https://huggingface.co/sentence-transformers/paraphrase-multilingual-MiniLM-L12-v2

• 创建.ENV文件以保存您的秘密键。
• 安装依赖项

poetry install

• 运行QDRANT DB API的Docker图像

make qdrant

它如何工作？

这是最简单的步骤，只需运行此命令

make run date= ' 2023-11-09 ' 

实验：

• 查询数据库并搜索新闻搜索。
• 使用OpenAI API并根据问题llm-news-reporter提取新闻。