Vector Search RaG

？矢量搜索抹布系统

使用矢量搜索和抹布（检索增强生成）功能的复杂电影推荐系统，由Huggingface的句子Transformers和MongoDB Atlas提供支持。

？特征

• 语义搜索：利用有意义的电影搜索的句子嵌入
• 向量数据库：利用MongoDB Atlas的矢量搜索功能
• 实时处理：使用HuggingFace的API在fly上生成嵌入
• 有效的检索：基于情节描述的快速准确的电影建议

项目结构

 Vector-Search-RaG/
├── apps/
│   └── semantic_search/
│       ├── __init__.py
│       ├── hf_connection.py    # HuggingFace API connection
│       ├── mongo_connection.py # MongoDB connection handler
│       └── movie_recs.py      # Movie recommendation logic
├── ragenv/                    # Virtual environment
├── LICENSE
└── README.md

入门

先决条件

• Python 3.8或更高
• Mongodb Atlas帐户
• 拥抱面API令牌
• PIP（Python软件包经理）

环境设置

1. 克隆存储库：

git clone https://github.com/yourusername/Vector-Search-RaG.git
cd Vector-Search-RaG

2. 创建和激活虚拟环境：

python -m venv ragenv
source ragenv/bin/activate  # On Windows: ragenvScriptsactivate

3. 安装依赖项：

pip install pymongo requests python-decouple

4. 用您的凭据在根目录中创建.env文件：

 MONGODB_URI = your_mongodb_connection_string
HUGGING_FACE_TOKEN = your_huggingface_token 

配置组件

拥抱面连接（ hf_connection.py ）

• 管理与Huggingface API的连接
• 使用sentence-transformers/all-MiniLM-L6-v2模型生成嵌入
• 处理API身份验证和错误处理

mongoDB连接（ mongo_connection.py ）

• 建立与MongoDB Atlas的安全连接
• 实施TLS安全性
• 包括连接验证和错误处理

电影推荐（ movie_recs.py ）

• 实施矢量搜索功能
• 处理电影查询并生成建议
• 包括用于获取和更新电影数据的实用程序

？用法

基本搜索示例

 from apps . semantic_search . movie_recs import search_movies

# Search for movies with a specific plot description
query = "A group of bandits stage a brazen train hold-up"
search_movies ( query )

更新电影数据

 from apps . semantic_search . movie_recs import fetch_and_update_movies

# Fetch and update movie information
fetch_and_update_movies ()

向量搜索细节

该系统使用MongoDB的$vectorSearch聚合进行语义搜索：

• 使用HuggingFace的句子变压器生成嵌入
• 针对存储在MongoDB中的预计图嵌入的搜索
• 根据情节描述返回最相似的电影

安全功能

• MongoDB连接的TLS加密
• 通过环境变量保护API令牌处理
• 证书验证安全连接

配x重要说明

1. 确保您的MongoDB Atlas集群具有启用矢量搜索功能
2. 拥抱面API具有速率限制 - 考虑实施用于生产使用的缓存
3. 确保您的.env文件安全，永远不要将其用于版本控制

？性能考虑

• 该系统使用numCandidates: 100用于广泛的搜索范围
• 结果限制为每个查询的4部电影，以获得最佳响应时间
• 矢量搜索索引“ plotsemanticsearch”应在mongodb中正确配置

？贡献

1. 分叉存储库
2. 创建您的功能分支（ git checkout -b feature/AmazingFeature ）
3. 提交您的更改（ git commit -m 'Add some AmazingFeature' ）
4. 推到分支机构（ git push origin feature/AmazingFeature ）
5. 打开拉请请求

执照

该项目是根据存储库中包含的许可证文件的条款许可的。