Seerat e Nabi Model with Llama Index

带有Llama指数的Seerat-e-Nabi模型

该项目是一个Web应用程序，它使用FastAPI后端使用Llama索引进行矢量存储和查询来对Seerat-E-Nabi模型的问题提供回答。

特征

• FastAPI集成：一个轻巧的Web框架来处理API请求。
• 美洲驼指数：利用Llama索引存储和查询文档向量。
• 动态模型加载：自动加载并持续索引，以确保有效的查询。

文件结构

• main.py ：使用FastApi的Main应用程序文件设置端点。
• llama_model.py ：脚本加载数据，创建索引并使用Llama索引查询。
• clean.py ：预处理原始数据用于创建适合索引的干净数据集。

关键组件

FastAPI应用程序（ main.py ）

• 端点：
  • GET / ：简单的健康检查返回“确定”。
  • GET /response/{question} ：接受一个问题并返回模型的响应。
• 服务器配置：在启用重新加载的port 8000上运行服务器。

Llama模型（ llama_model.py ）

• 数据加载和索引：
  • 从指定目录加载文档。
  • 创建并坚持一个矢量存储索引。
• 查询处理：
  • 提供一个函数来查询索引和提取响应。

数据预处理（ clean.py ）

• 数据清洁：
  • 删除非α数字字符和空线。
  • 过滤少于三个单词的线条。
• 保存清洁数据：将预处理的数据保存到新文件中。

挑战和解决方案

• 模型集成：确保使用FastAPI的Llama索引无缝集成需要仔细处理数据加载和索引。
• 数据预处理：清洁和准备数据以创建有意义的索引涉及多个预处理步骤。
• 有效的查询：实施一个系统以有效查询索引并提供要求的响应，要求鲁棒索引和查询处理机制。

入门

1. 克隆存储库。
2. 安装所需的依赖项。
3. 运行FastApi应用程序。

git clone https://github.com/faisal-fida/seerat-e-nabi-model-llama-index.git
cd seerat-e-nabi-model-llama-index
pip install -r requirements.txt
uvicorn main:app --reload

结论

该项目演示了FastAPI与Llama索引的集成，用于创建能够根据索引数据回答问题的响应式Web应用程序。它突出了模型集成，数据预处理和有效查询的复杂性。

如果您遇到任何问题，请随时贡献或提出问题！