ai starter kit

AI Starter Kit

Basis kode minimal untuk membuat aplikasi AI untuk melakukan pertanyaan pertanyaan (QA) atas dokumen PDF, sepenuhnya secara lokal .

Proyek ini terinspirasi oleh Local-Ai-Stack. Namun, tumpukan mereka sepenuhnya berbasis javascript, dan saya membutuhkan backend berbasis ularin, jadi memutuskan untuk membuat proyek ini.

ai-starter-kit-demo_3.mp4

Tumpukan

• ? Inferensi: Ollama
• Vectorbb: Qdrant
• ? LLM Orchestration: Langchain
• ? ️ Logika Aplikasi: FASTAPI

Bagaimana memulai

1. Klon repo ini:

git clone https://github.com/mallahyari/ai-starter-kit.git

2. Instal Ketergantungan Backend:

 cd backend/app
pip install -r requirements.txt

3. Instal Dependencies Frontend:

 cd frontend
npm install

4. Mulai database qdrant vector (Anda memerlukan buruh pelabuhan). Lihat di sini untuk informasi opsi lain:

docker run -p 6333:6333 qdrant/qdrant

5. Instal Instruksi Ollama ada di sini

6. Jalankan server FASTAPI (dari dalam direktori backend ):

python app/main.py

7. Buka terminal baru dan mulailah server pengembangan reaksi (dari bagian dalam frontend ):

npm start

Ubah konfigurasi

Anda dapat mengubah konfigurasi dalam file .config , seperti model embedding , ukuran potongan , dan tumpang tindih potongan . Jika Anda berencana untuk menggunakan qdrant cloud, Anda dapat atau Anda dapat membuat file .env Anda sendiri dan mengatur tombol API yang diperlukan.

Kasus penggunaan tambahan

Meskipun aplikasi saat ini hanya mendukung file PDF, sangat mudah untuk menambahkan jenis file lain seperti file teks, dll. Anda juga dapat dengan mudah menambahkan obrolan terbuka selain QA Over Document Use Case.

Diskusi dan Kontribusi

Jika Anda memiliki komentar atau umpan balik, jangan ragu untuk menggunakan bagian Discussions dan membuka topik baru. Anda juga dapat menjangkau langsung melalui LinkedIn atau Twitter