LLM_File_Parser
1.0.0
Versão 0.02 do analisador de arquivos LLM por bibliotecáriofcelsus.com
Guia de instalação
Pule para Changelog
Discord Server
Mudanças recentes
• 07/17 Adicionado domínios de conhecimento como índice separado para que os domínios existentes possam ser pesquisados com vetores.
• 07/12 Primeira versão
Este projeto faz parte do meu projeto de Aetherius maior e foi projetado para otimizar o processo de transformar dados não estruturados em bancos de dados e conjuntos de dados estruturados. O programa se enquadra no Automl e usa várias técnicas de LLM para digitalizar, cortar e resumir documentos não estruturados, transformando -os em dados estruturados com o mínimo de entrada do usuário.
Tipos atuais de arquivo suportados: .epub, .pdf, .txt, .png, .jpg, .jpeg, .mp4, .mkv, .flv e .av
Chatbots usando este formato:
`` Este projeto serve como upload de documentos para: https://github.com/libraryofcelsus/advanced_rag_chatbot
Principal Ai Assistente de AI Github: https://github.com/libraryofcelsus/aetherius_ai_assistant
Meu trabalho de IA é auto-financiado pelo meu trabalho diário, considere me apoiar se você apreciar meu trabalho.
Junte-se à Discord para obter ajuda ou para obter informações mais aprofundadas!
Discord Server: https://discord.gg/pb5zcna7ze
Inscreva -se no meu youtube para tutoriais em vídeo: https://www.youtube.com/@libraryofcelsus (canal ainda não lançado)
Tutoriais de código disponíveis em: https://www.libraryofcelsus.com/research/public/code-tutorials/
Feito por: https://github.com/libraryofcelsus
0,02
• Domínios de conhecimento adicionados como índice separado para que os domínios existentes possam ser pesquisados com vetores.
0,01
• Primeira liberação
Faça o download da pasta zip do projeto pressionando o menu suspenso de código <>.
1. Instale o Python 3.10.6, adicione-o ao caminho: https://www.python.org/downloads/release/python-3106/
2. Execute "Install_ReQuirements.bat" para instalar as dependências necessárias. O morcego instalará Git, Poppler, Tesseract, FFMPEG e as dependências necessárias do Python.
(Se você receber um erro ao instalar os requisitos executados: Python -m pip cache Purge )
3. Configure QDrant ou Marqo DB. Para alterar o que o DB é usado, edite a tecla "Vector_DB" em ./settings.json. QDRANT é o padrão.
QDRANT DOCs: https://qdrant.tech/documentation/guides/installation/
Marqo Docs: https://docs.marqo.ai/2.9/
`` Para usar um servidor QDrant local, primeiro instale o docker: https://www.docker.com.
Próximo Tipo: Docker Pull QDRANT/QDRANT: V1.9.1 No prompt de comando.
Depois de terminar de baixar, o Docker Run -P 6333: 6333 QDRANT/QDRANT: V1.9.1
Para usar um servidor Marqo local, primeiro instale o docker: https://www.docker.com.
Próximo tipo: Docker Pull Marqoai/Marqo: mais recente no prompt de comando.
Depois de terminar de baixar, Type Docker Run -Nome Marqo - -GPUS All -P 8882: 8882 Marqoai/Marqo: mais recente
(Se der um erro, verifique a guia Docker Containers para um novo contêiner e pressione o botão Iniciar. Às vezes, ele falha no início.)
Veja: https://docs.docker.com/desktop/backup-and--restore/ para como fazer backups.
Depois que o servidor DB do vetor local estiver em execução, ele deve ser detectado automaticamente pelos scripts.
6. Instale a API desejada. (Não é necessário se estiver usando o OpenAI) para alterar o que é usado, edite a chave "API" em ./settings.json
https://github.com/oobabooga/text-generation-webui
https://github.com/lostruins/koboldcpp
8. Inicie um script com um dos run _*. Bat
9. Altere as informações dentro da guia "Configurações" para suas preferências.
10. Coloque um arquivo em sua pasta correspondente no diretório ./uploads. A pasta Uploads será criada ao executar pela primeira vez o script de processamento de arquivos.
Para fazer Whisper trabalhando com Cuda, pode ser necessário executar os comandos:
. venv scripts ativar
desinstalar pip desinstalar tochaudio
Instalação do pip Install Torchvision Torchaudio -f https://download.pytorch.org/whl/cu118/torch_stable.html
Se você deseja alterar o formato em que os dados são enviados para o db de vetor, os scripts de upload podem ser encontrados em ./resources/db_upload
Em janeiro de 2023, tive minha experiência inaugural com o ChatGPT e o LLMS em geral. Desde aquele momento, estou profundamente obcecado com a IA, dedicando inúmeras horas todos os dias a estudá-lo e à experimentação prática.
Discord: Libraryofcelsus -> Estilo de nome de usuário antigo: Celsus#0262
Mega Chat: https://mega.nz/c!pmnmeizq
