ai starter kit

AI Starter Kit

Eine minimale Codebasis zum Erstellen von AI -Apps zur Beantwortung von Fragen zur Beantwortung (QA) über PDF -Dokumente vollständig lokal .

Dieses Projekt ist von lokalem AI-Stack inspiriert. Ihr Stack ist jedoch ausschließlich auf JavaScript basiert, und ich brauchte ein Python -basierter Backend , weshalb beschlossen wurde, dieses Projekt zu erstellen.

Ai-Starter-Kit-Demo_3.mp4

Stapel

• ? Inferenz: Ollama
• VectordB: QDrant
• ? LLM -Orchestrierung: Langchain
• ? ️ App Logic: Fastapi

Wie man anfängt

1. Klonen Sie dieses Repo:

git clone https://github.com/mallahyari/ai-starter-kit.git

2. Backend -Abhängigkeiten installieren:

 cd backend/app
pip install -r requirements.txt

3. Installieren Sie Frontend -Abhängigkeiten:

 cd frontend
npm install

4. Starten Sie die QDRant Vector -Datenbank (Sie benötigen Docker). Weitere Optionen Informationen finden Sie in Informationen:

docker run -p 6333:6333 qdrant/qdrant

5. Installieren Sie Ollama -Anweisungen hier

6. Führen Sie den Fastapi -Server aus (aus backend -Verzeichnis):

python app/main.py

7. Öffnen Sie ein neues Terminal und starten Sie den React Development Server (aus dem Inneren frontend ):

npm start

Konfigurationen ändern

Sie können Konfigurationen in .config -Datei wie das Einbettungsmodell , die Chunk -Größe und die Chunk -Überlappung ändern. Wenn Sie vorhaben, QDrant Cloud zu verwenden, können Sie Ihre eigene .env -Datei erstellen und die erforderlichen API -Schlüssel festlegen.

Zusätzliche Anwendungsfälle

Obwohl die aktuelle App nur PDF-Dateien unterstützt, ist es sehr einfach, andere Arten von Dateien wie Textdateien usw. hinzuzufügen. Außerdem können Sie den Open-End-Chat zusätzlich zur QA über den Dokumentgebrauchsfall problemlos hinzufügen.

Diskussion und Beitrag

Wenn Sie einen Kommentar oder Feedback haben, zögern Sie bitte nicht, den Abschnitt Discussions zu verwenden und ein neues Thema zu öffnen. Sie können sich auch direkt über LinkedIn oder Twitter erreichen