Seerat e Nabi Model with Llama Index

Llama Index가있는 Seerat-e-Nabi 모델

이 프로젝트는 FastApi 백엔드를 사용하여 벡터 저장 및 쿼리 용 LLAMA 인덱스를 사용하여 SEERAT-e-NABI 모델에 대한 질문에 대한 답변을 제공하는 웹 응용 프로그램입니다.

특징

• Fastapi 통합 : API 요청을 처리하기위한 가벼운 웹 프레임 워크.
• LLAMA INDEX : 문서 벡터를 저장하고 쿼리하는 데 LLAMA 인덱스를 활용합니다.
• 동적 모델 로딩 : 인덱스를 자동으로로드하고 지속하여 효율적인 쿼리를 보장합니다.

파일 구조

• main.py : FastApi를 사용하여 엔드 포인트를 설정하는 주 응용 프로그램 파일.
• llama_model.py : 데이터를로드하고 인덱스를 생성하고 llama index를 사용하여 쿼리하는 스크립트.
• clean.py : 인덱싱에 적합한 깨끗한 데이터 세트를 생성하기위한 원시 데이터 전처리.

주요 구성 요소

Fastapi 응용 프로그램 ( main.py )

• 엔드 포인트 :
  • GET / : 간단한 건강 점검 "OK"를 반환합니다.
  • GET /response/{question} : 질문을 수락하고 모델의 응답을 반환합니다.
• 서버 구성 : Reload를 활성화하여 port 8000 에서 서버를 실행합니다.

llama 모델 ( llama_model.py )

• 데이터로드 및 인덱싱 :
  • 지정된 디렉토리에서 문서를로드합니다.
  • 벡터 매장 지수를 생성하고 지속합니다.
• 쿼리 처리 :
  • 인덱스를 쿼리하고 응답을 가져 오는 기능을 제공합니다.

데이터 전처리 ( clean.py )

• 데이터 청소 :
  • 비 성격이없는 문자와 빈 줄을 제거합니다.
  • 3 단어 미만으로 줄을 걸러냅니다.
• 깨끗한 데이터 저장 : 전처리 데이터를 새 파일에 저장합니다.

도전과 솔루션

• 모델 통합 : FASTAPI와 LLAMA 지수를 원활하게 통합하려면 데이터로드 및 인덱싱을 신중하게 처리해야했습니다.
• 데이터 전처리 : 데이터를 청소하고 준비하여 의미있는 색인을 생성하기 위해 여러 전처리 단계가 포함되었습니다.
• 효율적인 쿼리 : 인덱스를 효율적으로 쿼리하고 응답을 제공하기 위해 시스템을 구현하여 강력한 인덱싱 및 쿼리 처리 메커니즘을 요구했습니다.

시작하기

1. 저장소를 복제하십시오.
2. 필요한 종속성을 설치하십시오.
3. Fastapi 앱을 실행하십시오.

git clone https://github.com/faisal-fida/seerat-e-nabi-model-llama-index.git
cd seerat-e-nabi-model-llama-index
pip install -r requirements.txt
uvicorn main:app --reload

결론

이 프로젝트는 인덱스 데이터를 기반으로 질문에 답할 수있는 반응 형 웹 애플리케이션을 만들기 위해 Fastapi와 LLAMA 인덱스의 통합을 보여줍니다. 모델 통합, 데이터 전처리 및 효율적인 쿼리의 복잡성을 강조합니다.

문제가 발생하면 자유롭게 기여하거나 문제를 제기하십시오!