AI assistant ollama

Ai Assistant-collama

項目描述

該項目演示瞭如何使用langchain_community和langchain_core庫中的各種組件來加載，轉換，嵌入和檢索啟用PGVECTOR PGVECTOR的PostgreSQL數據庫。這些文檔來自URL，轉換為文本，分為可管理的塊，並作為數據庫中的向量存儲以進行檢索。該項目還展示瞭如何使用Ollama語言模型來創建抹布（檢索增強的生成）鏈，以根據從矢量商店檢索到的上下文回答問題。

先決條件

• Python 3.7+
• 啟用PGVECTOR的PostgreSQL
• Docker（可選，用於使用PGVECTOR運行PostgreSQL）

安裝

1. 克隆存儲庫：

git clone https://github.com/Atomic-man007/AI-assistant-ollama.git

2. 創建虛擬環境並激活它：

python -m venv venv
source venv/bin/activate  # On Windows, use `venvScriptsactivate`

3. 安裝所需的軟件包：

pip install -r requirements.txt

4. 使用啟用PGVector設置PostgreSQL。您可以使用Docker快速使用PGVector旋轉PostgreSQL實例：

docker run --name pgvector -e POSTGRES_PASSWORD=mysecretpassword -d -p 5432:5432 ankane/pgvector

5. 設置DB_URL環境變量以指向您的PostgreSQL實例：

 export DB_URL=postgresql://postgres:mysecretpassword@localhost:5432/postgres

用法

1. 使用您要處理的文檔的URL更新main函數中的urls列表。

2. 運行腳本：

python main.py

成分

• Asynchtmlloader ：異步從提供的URL加載HTML含量。
• HTML2TextTransFormer ：將HTML文檔轉換為純文本。
• Ollamaembeddings ：將文本文檔嵌入到矢量空間中。
• PGVECTOR ：使用PGVECTOR擴展名的PostgreSQL實現矢量存儲。
• recursivecharactertextsplitter ：將文本文檔分為指定大小的塊。
• ChatPromptTemplate ：創建一個用於生成響應的聊天提示模板。
• RunnablePassTrough ：可用於鏈接組件的傳遞。
• Ollama ：一種語言模型，用於基於檢索到的上下文生成答案。

例子

該腳本演示了以下步驟：

1. 從提供的URL加載HTML文檔。
2. 將HTML文檔轉換為純文本。
3. 將文本文檔分成較小的塊。
4. 將文本塊嵌入到矢量空間中，然後將其存儲在PostgreSQL數據庫中。
5. 從矢量商店檢索相關上下文。
6. 使用檢索到的上下文使用Ollama語言模型對問題產生回答。

執照

該項目已根據MIT許可獲得許可。有關詳細信息，請參見許可證文件。

致謝

• langchain_community和langchain_core庫，用於提供此項目中使用的組件。
• 載體商店實現的PostgreSQL和PGVECTOR。
• 用於生成響應的語言模型的Ollama。