News Vector Store

新聞向量商店

客觀的：

大型語言模型旨在有效地執行人類語言任務，例如翻譯，匯總，推理，分類，捕獲上下文信息，捕獲語言的語義和語言語法，但是最近出現GPT-3.5以及開源指導模型，以及諸如Llama-2，Zephyer，Zephyer等的開源模型，例如，我們開始在知識任務中使用LLM，例如，我們開始詢問量子的範圍。有關特定域用例以及更多信息的信息當然可以為很多問題提供答案，但是一旦我們開始向他們詢問有關問題LLM的問題，LLMS一無所知，或者他們無法記住它們，他們會幻覺並提供錯誤的答案。

解決此問題的解決方案，可以有效地使用LLMS，並通過使用矢量數據庫和及時工程技術來構建檢索效果的生成系統，可以：可以：

• 將知識或上下文插入輸入。
• 要求LM將上下文納入其輸出。

該技術減少了幻覺，並為LLM提供了有效回答問題的上下文（知識）。

技術和先決條件：

• python（> = 3.10，<3.12）
• 詩
• NLP和LLM中的基本知識
• git＆make windows命令
• Docker

項目設置：

• 在數據目錄中創建兩個目錄（DB，新聞）

mkdir data/db
mkdir data/news

• 創建一個目錄（STS），然後從hugingface中克隆一個編碼器模型，該模型將您的查詢和數據編碼為嵌入，我建議使用模型

mkdir sts
cd sts
git lfs install
git clone https://huggingface.co/sentence-transformers/paraphrase-multilingual-MiniLM-L12-v2

• 創建.ENV文件以保存您的秘密鍵。
• 安裝依賴項

poetry install

• 運行QDRANT DB API的Docker圖像

make qdrant

它如何工作？

這是最簡單的步驟，只需運行此命令

make run date= ' 2023-11-09 ' 

實驗：

• 查詢數據庫並蒐索新聞搜索。
• 使用OpenAI API並根據問題llm-news-reporter提取新聞。