DataChad

Datachad V3?

Dies ist eine App, mit der Sie Fragen zu einer Datenquelle stellen können, indem Sie Einbettung, Vektordatenbanken, große Sprachmodelle und nicht zuletzt Langchains nutzen

Wie funktioniert es?

1. Laden Sie alle file(s) hoch oder geben Sie einen path oder eine url ein, um Wissensbasis zu erstellen, die mehrere Dateien jeglicher Art, Format und Inhalte enthalten und intelligente FAQs erstellen können, bei denen es sich um Listen mit kuratiertem Q & A -AS handelt.
2. Die Datenquelle oder Dateien werden geladen und in Textdokumentbrocken aufgeteilt
3. Die SMS -Dokumentbrocken werden mit OpenAI oder Suggingface -Einbettungen eingebettet
4. Die Einbettungen werden als Vektor -Datensatz für die Datenbank -Hub von Activeloop gespeichert
5. Eine Langchain wird erstellt, die aus einer benutzerdefinierten Auswahl eines LLM-Modells (standardmäßig gpt-3.5-turbo ), multiple Vektorspeicher als Wissensbasis und eines einzelnen speziellen Smart-FAQ-Vektorspeichers besteht
6. Wenn Sie Fragen an die App stellen, bettet die Kette die Eingabeaufforderung ein und führt eine Ähnlichkeitssuche in den bereitgestellten Vektorspeichern durch und verwendet die besten Ergebnisse als Kontext für die LLM, um eine geeignete Antwort zu generieren
7. Schließlich wird der Chat -History vor Ort zwischengespeichert, um einem ChatGPT wie Fragen und Antworten zu ermöglichen

Gut zu wissen

• Die App läuft nur auf py>=3.10 !
• Um lokal auszuführen oder irgendwo bereitzustellen, führen Sie cp .env.template .env aus und setzen Sie Anmeldeinformationen in der neu erstellten .env -Datei. Andere Optionen sind die manuelle Einstellung von Systemumgebungsvariablen oder das Speichern von .streamlit/secrets.toml , wenn sie über Streamlit gehostet werden.
• Wenn Sie Anmeldeinformationen wie oben erläutert festgelegt haben, können Sie einfach in der Authentifizierung submit , ohne Ihre Anmeldeinformationen in die App erneut zu betreten.
• Wenn Sie die App ausführen, erwägen Sie, die Konfiguration in datachad/backend/constants.py zu ändern, z. B. Aktivierung erweiterter Optionen
• Ihre Daten werden nicht geladen? Fühlen Sie sich frei, ein Problem oder PR zu eröffnen und beizutragen!
• Verwenden Sie frühere Veröffentlichungen wie V1 oder V2 für die ursprüngliche Funktionalität und die Benutzeroberfläche

Wie sieht es aus?

TODO -Liste

Wenn Sie einen Beitrag leisten möchten, können Sie gerne eine Aufgabe ergreifen

• Refactor -Utils, insbesondere die Lader
• Fügen Sie die Option hinzu, um Modell und Einbettungen auszuwählen
• Aktivieren Sie den vollständigen lokalen / privaten Modus
• Fügen Sie die Option hinzu, um mehrere Dateien in einen einzelnen Datensatz hochzuladen
• Dekupieren Sie Dataachad -Module aus Streamlit
• Entfernen Sie alle lokalen Modus und andere V1 -Dinge
• Lasten Sie vorhandene Wissensbasis
• Bestehende Wissensbasis löschen
• Aktivieren Sie Streaming -Antworten
• Zeigen Sie einen abgerufenen Kontext
• Refaktor UI
• Smart FAQs einführen
• Exchange Downloaded Dateispeicher mit tempfile
• Benutzererstellung und Anmeldung hinzufügen
• Fügen Sie den Chat -Verlauf pro Benutzer hinzu
• Machen Sie alles i/o asynchron
• Implementieren Sie Fastapi Routes und Backend App
• Implementieren Sie eine ordnungsgemäße Frontend (reagieren Sie oder was auch immer)
• Containerieren Sie die App