ai starter kit

Kit de inicio de AI

Una base de código mínima para crear aplicaciones de IA para responder preguntas (QA) sobre los documentos PDF, completamente localmente .

Este proyecto está inspirado en Local-AI-Stack. Sin embargo, su pila está completamente basada en JavaScript, y necesitaba un backend basado en Python, por lo que decidí crear este proyecto.

ai-starter-kit-demo_3.mp4

Pila

• ? Inferencia: Ollama
• Vectordb: Qdrant
• ? Orquestación LLM: Langchain
• ? ️ Lógica de la aplicación: Fastapi

Cómo empezar

1. Clon este repositorio:

git clone https://github.com/mallahyari/ai-starter-kit.git

2. Instalar dependencias de backend:

 cd backend/app
pip install -r requirements.txt

3. Instalar dependencias frontend:

 cd frontend
npm install

4. Inicie la base de datos QDRANT Vector (necesita Docker). Consulte aquí para obtener información sobre otras opciones:

docker run -p 6333:6333 qdrant/qdrant

5. Instalar las instrucciones de Ollama están aquí

6. Ejecute el servidor FastAPI (desde el directorio backend interior):

python app/main.py

7. Abra un nuevo terminal e inicie el servidor React Development (desde frontend interior):

npm start

Cambiar configuraciones

Puede cambiar las configuraciones en el archivo .config , como el modelo de incrustación , el tamaño de la fragmentación y la superposición del fragmento . Si planea usar Qdrant Cloud, puede o puede crear su propio archivo .env y establecer las claves API necesarias.

Casos de uso adicionales

Aunque la aplicación actual solo admite archivos PDF, es muy sencillo agregar otros tipos de archivos, como archivos de texto, etc. Además, puede agregar fácilmente el chat abierto además de QA sobre el caso de uso del documento.

Discusión y contribución

Si tiene algún comentario o comentarios, no dude en usar la sección Discussions y abrir un nuevo tema. También puede comunicarse directamente a través de LinkedIn o Twitter