XMLtoJSON

Conversor xml para json

Índice

• Conversor xml para json
  • Índice
  • Visão geral
  • Características
  • Estrutura do repositório
  • Uso
    • Estrutura de pasta de dados de entrada
  • Instruções de configuração
    • Etapa 1: clonar o repositório
    • Etapa 2: execute a conversão
  • Mudanças e melhorias

---

Visão geral

Este projeto fornece um conjunto de scripts e ferramentas para converter arquivos XML em formato JSON. Ele foi projetado para funcionar com diferentes fontes de dados XML e é totalmente personalizável, suportando vários módulos de conversão. O projeto é dividido em módulos Python separados para lidar com diferentes tipos de dados, incluindo documentos, pessoas e arquivos.

A solução inclui:

• Vários métodos de análise XML para extrair dados de diferentes tipos de arquivos XML.
• Ferramentas para lidar com tipos de documentos específicos, como arquivos, obras de arte e pessoas.
• Uma estrutura flexível para facilitar a conversão e a integração com outros sistemas.

Características

• Scripts de conversão personalizados : projetados para diferentes formatos XML, incluindo documentos, pessoas e links de arquivo.
• Manuseio de dados flexível : a capacidade de lidar com o texto, metadados e atributos específicos, como aliases e referências.
• Estrutura modular : Cada tipo XML é tratado por scripts separados, facilitando a extensão ou o modificar.

Estrutura do repositório

convert/
  archiveLinkConvert.py      # Handles conversion of archive link XMLs
  artworkConvert.py          # Handles artwork XML data
  commonConvert.py           # Contains common conversion utilities
  personConvert.py           # Handles conversion of person-related XMLs
docs/
  pictures/                  # Picture documentation related to the project
  Analyza_SP.md              # Analysis related documentation
  documentaria_rudolphina.md # Project-specific documentation
model/
  ArchiveLink.py             # Data model for archive links
  Document.py                # Data model for documents
  Person.py                  # Data model for person records
scripts/
  main_convert.py            # Main script to execute conversion
  .gitignore                 # Git ignore configuration
  README.md                  # This documentation file 

Uso

Para usar esta ferramenta, você precisará de Python e Pip instalados.

Em seguida, execute o seguinte comando:

pip install -r requirements.txt

Isso instalará as bibliotecas necessárias para executar o script. Em seguida, basta executar o script main_convert.py com as opções apropriadas. Aqui estão os principais comandos para executar o programa no diretório XMLtoJSON :

• Exibir informações de ajuda:

  python3 scripts/main_convert.py --help

  ou

  python3 scripts/main_convert.py --h

• Converta todos os tipos de arquivos XML:

  python3 scripts/main_convert.py --type all --input_path " path_for_input_data " --output_path " path_for_output_data "

• Converter arquivos XML relacionados ao nome:

  python3 scripts/main_convert.py --type names --input_path " path_for_input_data " --output_path " path_for_output_data "

• Converta arquivos XML relacionados ao registro:

  python3 scripts/main_convert.py --type registers --input_path " path_for_input_data " --output_path " path_for_output_data "

• Converter arquivos XML relacionados ao arquivo:

  python3 scripts/main_convert.py --type archive --input_path " path_for_input_data " --output_path " path_for_output_data "

Estrutura de pasta de dados de entrada

A pasta de dados de entrada deve ser estruturada da seguinte forma:

input_data/
  Archiv/                    # Archive-related XML files
  Regesten/                  # Register-related XML files
  Namen/                     # Name-related XML files
  Indicies/                  # Index-related XML files 

Instruções de configuração

Etapa 1: clonar o repositório

git clone https://github.com/VandlJ.git
cd XMLtoJSON

Etapa 2: execute a conversão

Para iniciar a conversão, use o script de conversão principal. Por exemplo, para converter todos os arquivos XML:

python3 scripts/main_convert.py --type all --input_path " ../test_data " --output_path " ../test_data/output "

Você também pode conferir todas as opções disponíveis e obter informações detalhadas executando:

python3 scripts/main_convert.py --help

Este comando começará a processar os arquivos XML no diretório especificado --input_path e produzirá os resultados para o diretório --output_path .

Mudanças e melhorias

Este projeto foi herdado de outra equipe e fizemos várias melhorias e correções significativas para melhorar sua funcionalidade e confiabilidade:

1. Manuseio de erros: espaços/caracteres em branco para recuo no texto - em arquivos Regesten

   • Anteriormente, os arquivos Regesten JSON tinham problemas com espaços e caracteres em branco, causando erros de recuperação. Abordamos isso dividindo o campo "Texto" em dois valores de chave distintos:
     • display : Este campo é usado para exibir texto no front -end, garantindo que retém a formatação original para a legibilidade.
     • processable : Este campo contém uma versão mais limpa do texto, otimizada para processamento e análise de computador.

2. Manuseio de metadados: metadados do problema em Regesten

   • Havia inconsistências na captura de elementos de metadados, como .p nos arquivos Regesten. Alguns elementos estavam ausentes ou capturados incorretamente. Realizamos uma revisão completa e garantimos que todos os elementos de metadados agora sejam capturados e processados ​​com precisão em nossa iteração do programa.

3. Interatividade aprimorada: adicione informações onmouseover="highlightWords(event, '...')" em Regesten

   • Para melhorar a experiência do usuário, adicionamos interatividade aos arquivos Regesten. O atributo onmouseover foi adicionado para destacar palavras quando pairou. Os dados processados ​​agora incluem:

      "names" : [
       {
         "Aichholz_Johann" : " Johann Aichholz " ,
         "alias" : " Johann Aichholz Ehrzney doctor "
       },
       {
         "Strauben_Franz" : " Franz Strauben " ,
         "alias" : " Frannzen Strauben "
       }
     ]

4. Nome Processamento: dividindo o primeiro nome e sobrenome via ferramenta externa - Gettyulan

   • Integramos o projeto a uma ferramenta externa, Gettyulan, para aprimorar o processamento de nomes. Esta ferramenta ou API fornece links de URL para os autores e retorna uma solicitação por pessoa. O aplicativo consulta o endpoint SPARQL Getty, onde cada nome é validado e processado. Essa integração garante informações precisas e enriquecidas do autor.
   • Além disso, fizemos a API para dividir o nome de execução de forma assíncrona com o cache, aumentando significativamente o desempenho reduzindo solicitações redundantes e melhorando os tempos de resposta.

5. Script principal unificado para conversão

   • Simplificamos o processo de conversão consolidando os três scripts Python principais (usados ​​anteriormente para diferentes tipos de documentos) em um script único e unificado. Esse script principal agora está configurável por meio de opções de terminal, permitindo que os usuários especifiquem --type , --input_path e --output_path . Essa mudança simplifica a execução e aumenta a flexibilidade do processo de conversão.

6. Documentação aprimorada e instruções de configuração

   • Atualizou a documentação para refletir as novas alterações e fornecer instruções de configuração claras. Isso inclui exemplos de uso detalhados e a estrutura de pasta de dados de entrada esperada para garantir que os usuários possam começar facilmente com o projeto.

7. Aprimoramentos de desempenho e correções de bugs

   • Conduziu uma revisão abrangente da base de código para identificar e corrigir bugs. Implementou aprimoramentos de desempenho para garantir que o processo de conversão seja eficiente e confiável.

8. Correções na saída JSON do tipo Archiv

   • Corrigiu o manuseio de variáveis hasSublink , linkTo e next_link nos arquivos JSON de saída para o tipo Archiv. Isso garante que essas variáveis ​​sejam representadas e vinculadas com precisão na saída JSON.

Essas melhorias aumentaram significativamente a funcionalidade, a usabilidade e a confiabilidade do projeto de conversor XML para JSON, tornando-o mais robusto e fácil de usar.