ai starter kit

Kit de démarrage AI

Une base de code minimale pour créer des applications AI pour répondre aux questions de réponse (QA) sur les documents PDF, complètement localement .

Ce projet est inspiré par le local-ai-stack. Cependant, leur pile est entièrement basée sur JavaScript, et j'avais besoin d'un backend basé sur Python, j'ai donc décidé de créer ce projet.

ai-starter-kit-demo_3.mp4

Empiler

• ? Inférence: ollla
• Vectordb: qdrant
• ? Orchestration LLM: Langchain
• ? ️ Logique de l'application: Fastapi

Comment commencer

1. Cloner ce repo:

git clone https://github.com/mallahyari/ai-starter-kit.git

2. Installez les dépendances backend:

 cd backend/app
pip install -r requirements.txt

3. Installez les dépendances du frontend:

 cd frontend
npm install

4. Démarrez la base de données vectorielle QDRANT (vous avez besoin de Docker). Voir ici pour d'autres options Informations:

docker run -p 6333:6333 qdrant/qdrant

5. Installer les instructions d'Olllama sont là

6. Exécutez le serveur Fastapi (depuis le répertoire backend intérieur):

python app/main.py

7. Ouvrez un nouveau terminal et démarrez le serveur de développement React (à l'intérieur frontend ):

npm start

Modifier les configurations

Vous pouvez modifier les configurations dans le fichier .config , telles que le modèle d'intégration , la taille de morceaux et le chevauchement de morceaux . Si vous prévoyez d'utiliser QDRANT Cloud, vous le pouvez ou vous pouvez créer votre propre fichier .env et définir les clés API nécessaires.

Cas d'utilisation supplémentaires

Bien que l'application actuelle prenne uniquement en charge les fichiers PDF, il est très simple d'ajouter d'autres types de fichiers tels que les fichiers texte, etc. En outre, vous pouvez facilement ajouter le CHAT ouvert en plus du cas d'utilisation du document QA.

Discussion et contribution

Si vous avez des commentaires ou des commentaires, n'hésitez pas à utiliser la section Discussions et à ouvrir un nouveau sujet. Vous pouvez également contacter directement via LinkedIn ou Twitter