LLM with RAG

Stufe eins

1. Lagendatei
   • Großsprachenmodell:
     • Sprachmodell: "Databricks/dbrx-instruct": https://huggingface.co/databricks/dbrx-instruct
     • NVIDIA Client: https://build.nvidia.com/databricks/dbrx-instruct
   • Vektordatenbank:
     • Milvus: https://milvus.io/
     • Einbettungsmodell: https://huggingface.co/thenlper/gte-base
     • Support OS: Linux
       • Derzeit unterstützt es kein Windows -Betriebssystem, da milvus_lite Windows OS nicht unterstützt
       • Wählen Sie in Zukunft eine unterschiedliche Datenbank, um dieses Problem zu beheben
2. PDF_TO_TXT -Datei
   • Aktueller Griff:
     • PDF (Text) zu txt
     • Müssen die Vorverarbeitungsverarbeitung verbessern, um das Lappenmodell zu füttern
3. Fortschritt (01.01.2024): Die vereinfachte Version funktioniert unter Linux mit einer Abfragefähigkeit
   • (02.02.2024): In der Lage, die Sammlung für die Abfrage wiederzuverwenden

Stufe zwei (Strom)

1. Erstellen Sie PDF -Leser mit OCR
   • Akzeptieren Sie hochgeladene PDF
   • Lesen Sie mit Easyocr
   • Speichern Sie Ergebnisse in Dateien, vorzugsweise eine Datei für jedes PDF
2. Die Lag -Datei unterstützt rekursive Frage und Antwort
3. In der Lage, historische QS in entsprechenden Dateien zu speichern

Stufe drei

1. Kombinieren Sie Lappen mit PDF -Leser
2. Unterstützung LLM Langzeitspeicher unterstützen
   • Fügen Sie die QA -Geschichte zu einem anderen Speicher hinzu
   • Kombinieren Sie Antworten mit der Geschichte

Aufräumarbeiten implementieren und optimieren

1. Optimierung, Geschwindigkeit und Speicher

Einsatz?