Seerat e Nabi Model with Llama Index

Model Seerat-E-Nabi dengan Indeks Llama

Proyek ini adalah aplikasi web yang menggunakan backend FASTAPI untuk memberikan tanggapan terhadap pertanyaan tentang model Seerat-e-Nabi menggunakan indeks LLAMA untuk penyimpanan vektor dan permintaan.

Fitur

• Integrasi FASTAPI : Kerangka kerja web yang ringan untuk menangani permintaan API.
• Indeks Llama : Memanfaatkan indeks llama untuk menyimpan dan meminta vektor dokumen.
• Pemuatan Model Dinamis : Secara otomatis memuat dan bertahan indeks, memastikan kueri yang efisien.

Struktur file

• main.py : File aplikasi utama menggunakan FASTAPI untuk mengatur titik akhir.
• llama_model.py : skrip untuk memuat data, membuat indeks, dan menanyakannya menggunakan indeks llama.
• clean.py : Preprocesses Data RAW untuk membuat dataset bersih yang cocok untuk pengindeksan.

Komponen utama

Aplikasi FASTAPI ( main.py )

• Titik akhir :
  • GET / : Pemeriksaan Kesehatan Sederhana Mengembalikan "OK".
  • GET /response/{question} : menerima pertanyaan dan mengembalikan respons model.
• Konfigurasi Server : Menjalankan server pada port 8000 dengan Reload diaktifkan.

Model llama ( llama_model.py )

• Pemuatan dan Pengindeksan Data :
  • Memuat dokumen dari direktori tertentu.
  • Membuat dan bertahan indeks toko vektor.
• Penanganan kueri :
  • Memberikan fungsi untuk meminta indeks dan mengambil respons.

Data Preprocessing ( clean.py )

• Pembersihan Data :
  • Menghapus karakter non-alfanumerik dan garis kosong.
  • Menyaring garis dengan kurang dari tiga kata.
• Simpan Data Bersih : Menghemat data yang diproses ke file baru.

Tantangan dan solusi

• Integrasi Model : Memastikan integrasi yang mulus dari indeks LLAMA dengan FastAPI membutuhkan penanganan pemuatan dan pengindeksan data yang cermat.
• Preprocessing data : Membersihkan dan menyiapkan data untuk membuat indeks yang bermakna melibatkan beberapa langkah preprocessing.
• Permintaan yang efisien : Menerapkan sistem untuk secara efisien meminta indeks dan memberikan tanggapan yang menuntut mekanisme pengindeksan dan penanganan permintaan yang kuat.

Memulai

1. Klon Repositori.
2. Pasang dependensi yang diperlukan.
3. Jalankan aplikasi FastAPI.

git clone https://github.com/faisal-fida/seerat-e-nabi-model-llama-index.git
cd seerat-e-nabi-model-llama-index
pip install -r requirements.txt
uvicorn main:app --reload

Kesimpulan

Proyek ini menunjukkan integrasi FASTAPI dengan Indeks LLAMA untuk membuat aplikasi web responsif yang mampu menjawab pertanyaan berdasarkan data yang diindeks. Ini menyoroti kompleksitas integrasi model, pemrosesan data, dan permintaan yang efisien.

Jangan ragu untuk berkontribusi atau mengangkat masalah jika Anda mengalami masalah!