LLM with RAG

Première étape

1. Fichier
   • Modèle de grande langue:
     • Modèle linguistique: "Databricks / DBRX-Instruct": https://huggingface.co/databricks/dbrx-instruct
     • Nvidia Client: https://build.nvidia.com/databricks/dbrx-struct
   • Base de données vectorielle:
     • Milvus: https://milvus.io/
     • Modèle d'intégration: https://huggingface.co/thenlper/gte-base
     • Support OS: Linux
       • Actuellement ne prend en charge Windows OS car milvus_lite ne prend pas en charge le système d'exploitation Windows
       • Choisira une base de données différente à l'avenir afin de résoudre ce problème
2. fichier pdf_to_txt
   • Poignée actuelle:
     • pdf (texte) à txt
     • Besoin d'améliorer le prétraitement dans le modèle pour nourrir le modèle
3. Progress (10/01/2024): la version simplifiée fonctionne sur Linux, avec une capacité de requête
   • (10/02/2024): Capable de réutiliser la collecte pour la requête

Deuxième étape (actuel)

1. Création du lecteur PDF en utilisant OCR
   • accepter le PDF téléchargé
   • Lire en utilisant Easyocr
   • Stocker les résultats dans les fichiers, de préférence un fichier pour chaque PDF
2. Le fichier de chiffon prend en charge une question et une réponse récursives
3. Capable de stocker QA historique dans des fichiers correspondants

Troisième étape

1. Combiner le chiffon avec le lecteur PDF
2. Prise en charge de la mémoire à long terme LLM
   • Ajouter l'historique des QA à un autre stockage
   • Combinez les réponses avec l'histoire

Nettoyer implémentation et optimiser

1. Optimisation, vitesse et mémoire

Déploiement?