LLM_File_Parser
1.0.0
Version 0.02 de l'analyseur de fichiers LLM par LibraryOfcelsus.com
Guide d'installation
Sauter à Changelog
Serveur de discorde
Changements récents
• 07/17 Les domaines de connaissances ajoutés comme index séparés afin que les domaines existants puissent être recherchés avec des vecteurs.
• 07/12 Première version
Ce projet fait partie de mon plus grand projet Aetherius et est conçu pour rationaliser le processus de transformation des données non structurées en bases de données et ensembles de données structurés. Le programme tombe sous Automl et utilise diverses techniques LLM pour scanner, chasser et résumer des documents non structurés, en les transformant en données structurées avec une entrée utilisateur minimale.
Types de fichiers pris en charge actuels: .epub, .pdf, .txt, .png, .jpg, .jPeg, .mp4, .mkv, .flv et .av
Chatbots utilisant ce format:
Ce projet sert de téléchargeur de document pour: https://github.com/libraryofcelsus/advanced_rag_chatbot
Assistant principal AI GitHub: https://github.com/libraryofcelsus/aetherius_ai_assistant
Mon travail d'IA est autofinancé par mon travail de jour, envisagez de me soutenir si vous appréciez mon travail.
Rejoignez la discorde pour obtenir de l'aide ou pour obtenir des informations plus approfondies!
Discord Server: https://discord.gg/pb5zcna7ze
Abonnez-vous à mon YouTube pour les tutoriels vidéo: https://www.youtube.com/@libraryofcelsus (chaîne non encore lancée)
Tutoriels de code disponibles sur: https://www.libraryofcelsus.com/research/public/code-tutorials/
Fabriqué par: https://github.com/libraryofcelsus
0,02
• Ajout de domaines de connaissances sous forme d'index séparé afin que les domaines existants puissent être recherchés avec des vecteurs.
0,01
• Première version
Téléchargez le dossier Zip Project en appuyant sur le menu déroulant <> Code.
1. Installez Python 3.10.6, assurez-vous de l'ajouter au chemin: https://www.python.org/downloads/release/python-3106/
2. Exécutez "install_requirements.bat" pour installer les dépendances nécessaires. La chauve-souris installera Git, Poppler, Tesseract, FFMPEG et les dépendances Python nécessaires.
(Si vous obtenez une erreur lors de l'installation des exigences: Python -M Pip Cache Purge )
3. Configurez QDRANT ou MARQO DB. Pour modifier ce que DB est utilisé, modifiez la clé "vector_db" dans ./settings.json. Qdrant est la valeur par défaut.
QDRANT DOCS: https://qdrant.tech/documentation/guides/installation/
Marqo Docs: https://docs.marqo.ai/2.9/
Pour utiliser un serveur QDrant local, installer d'abord Docker: https://www.docker.com.
Type suivant: Docker Pull Qdrant / Qdrant: v1.9.1 dans l'invite de commande.
Une fois le téléchargement terminé, Type Docker Run -P 6333: 6333 QDRANT / QDRANT: V1.9.1
Pour utiliser un serveur Marqo local, installez d'abord Docker: https://www.docker.com.
Type suivant: Docker Pull Marqoai / Marqo: Dernier dans l'invite de commande.
Une fois le téléchargement terminé, Type Docker Run - Name Marqo --gpus All -P 8882: 8882 Marqoai / Marqo: Dernier
(S'il donne une erreur, vérifiez l'onglet Contators Docker pour un nouveau conteneur et appuyez sur le bouton Démarrer. Parfois, il ne parvient pas à démarrer.)
Voir: https://docs.docker.com/desktop/backup-and-restore/ pour comment faire des sauvegardes.
Une fois le serveur DB vectoriel local en cours d'exécution, il doit être détecté automatiquement par les scripts.
6. Installez votre API souhaitée. (Pas nécessaire si vous utilisez OpenAI) pour modifier ce que l'API est utilisée, modifiez la clé "API" dans ./settings.json
https://github.com/oobabooga/text-generation-webui
https://github.com/lostruins/koboldcpp
8. Lancez un script avec l'une des courses _ *. Bat
9. Changez les informations à l'intérieur de l'onglet "Paramètres" dans vos préférences.
10. Mettez un fichier dans son dossier correspondant dans le répertoire ./uploads. Le dossier des téléchargements sera créé lors de l'exécution du script de traitement de fichier pour la première fois.
Pour faire chuchoter avec Cuda, vous devrez peut-être exécuter les commandes:
. venv scripts activer
pipe désinstalle la torche torche audio
PIP Installer Torch TorchVision Torchaudio -F https://download.pytorch.org/whl/cu118/torch_stable.html
Si vous souhaitez modifier le format dans lequel les données sont téléchargées sur la base de données vectorielle, les scripts de téléchargement peuvent être trouvés dans ./resources/db_upload
En janvier 2023, j'ai eu mon expérience inaugurale avec Chatgpt et LLMS en général. Depuis ce moment, je suis profondément obsédé par l'IA, consacrant d'innombrables heures par jour à l'étudier et à l'expérimentation pratique.
Discord: LibraryOfcelsus -> Old Username Style: Celsus # 0262
Méga chat: https://mega.nz/c!pmnmeizq
