AI assistant ollama

Ai Assistant-collama

项目描述

该项目演示了如何使用langchain_community和langchain_core库中的各种组件来加载，转换，嵌入和检索启用PGVECTOR PGVECTOR的PostgreSQL数据库。这些文档来自URL，转换为文本，分为可管理的块，并作为数据库中的向量存储以进行检索。该项目还展示了如何使用Ollama语言模型来创建抹布（检索增强的生成）链，以根据从矢量商店检索到的上下文回答问题。

先决条件

• Python 3.7+
• 启用PGVECTOR的PostgreSQL
• Docker（可选，用于使用PGVECTOR运行PostgreSQL）

安装

1. 克隆存储库：

git clone https://github.com/Atomic-man007/AI-assistant-ollama.git

2. 创建虚拟环境并激活它：

python -m venv venv
source venv/bin/activate  # On Windows, use `venvScriptsactivate`

3. 安装所需的软件包：

pip install -r requirements.txt

4. 使用启用PGVector设置PostgreSQL。您可以使用Docker快速使用PGVector旋转PostgreSQL实例：

docker run --name pgvector -e POSTGRES_PASSWORD=mysecretpassword -d -p 5432:5432 ankane/pgvector

5. 设置DB_URL环境变量以指向您的PostgreSQL实例：

 export DB_URL=postgresql://postgres:mysecretpassword@localhost:5432/postgres

用法

1. 使用您要处理的文档的URL更新main函数中的urls列表。

2. 运行脚本：

python main.py

成分

• Asynchtmlloader ：异步从提供的URL加载HTML含量。
• HTML2TextTransFormer ：将HTML文档转换为纯文本。
• Ollamaembeddings ：将文本文档嵌入到矢量空间中。
• PGVECTOR ：使用PGVECTOR扩展名的PostgreSQL实现矢量存储。
• recursivecharactertextsplitter ：将文本文档分为指定大小的块。
• ChatPromptTemplate ：创建一个用于生成响应的聊天提示模板。
• RunnablePassTrough ：可用于链接组件的传递。
• Ollama ：一种语言模型，用于基于检索到的上下文生成答案。

例子

该脚本演示了以下步骤：

1. 从提供的URL加载HTML文档。
2. 将HTML文档转换为纯文本。
3. 将文本文档分成较小的块。
4. 将文本块嵌入到矢量空间中，然后将其存储在PostgreSQL数据库中。
5. 从矢量商店检索相关上下文。
6. 使用检索到的上下文使用Ollama语言模型对问题产生回答。

执照

该项目已根据MIT许可获得许可。有关详细信息，请参见许可证文件。

致谢

• langchain_community和langchain_core库，用于提供此项目中使用的组件。
• 载体商店实现的PostgreSQL和PGVECTOR。
• 用于生成响应的语言模型的Ollama。