XMLtoJSON

Convertidor XML a JSON

Tabla de contenido

• Convertidor XML a JSON
  • Tabla de contenido
  • Descripción general
  • Características
  • Estructura de repositorio
  • Uso
    • Estructura de la carpeta de datos de entrada
  • Instrucciones de configuración
    • Paso 1: Clonar el repositorio
    • Paso 2: ejecute la conversión
  • Cambios y mejoras

---

Descripción general

Este proyecto proporciona un conjunto de scripts y herramientas para convertir archivos XML en formato JSON. Está diseñado para funcionar con diferentes fuentes de datos XML y es totalmente personalizable, lo que admite módulos de conversión múltiples. El proyecto se divide en módulos de Python separados para manejar diferentes tipos de datos, incluidos documentos, personas y archivos.

La solución incluye:

• Varios métodos de análisis XML para extraer datos de diferentes tipos de archivos XML.
• Herramientas para manejar tipos de documentos específicos como archivos, obras de arte y personas.
• Una estructura flexible para una fácil conversión e integración con otros sistemas.

Características

• Scripts de conversión personalizados : diseñados para diferentes formatos XML, incluidos documentos, personas y enlaces de archivo.
• Manejo de datos flexible : la capacidad de manejar texto, metadatos y atributos específicos como alias y referencias.
• Estructura modular : cada tipo XML se maneja mediante scripts separados, lo que hace que sea fácil de extender o modificar.

Estructura de repositorio

convert/
  archiveLinkConvert.py      # Handles conversion of archive link XMLs
  artworkConvert.py          # Handles artwork XML data
  commonConvert.py           # Contains common conversion utilities
  personConvert.py           # Handles conversion of person-related XMLs
docs/
  pictures/                  # Picture documentation related to the project
  Analyza_SP.md              # Analysis related documentation
  documentaria_rudolphina.md # Project-specific documentation
model/
  ArchiveLink.py             # Data model for archive links
  Document.py                # Data model for documents
  Person.py                  # Data model for person records
scripts/
  main_convert.py            # Main script to execute conversion
  .gitignore                 # Git ignore configuration
  README.md                  # This documentation file 

Uso

Para usar esta herramienta, necesitará Python y PIP instalados.

Luego, ejecute el siguiente comando:

pip install -r requirements.txt

Esto instalará bibliotecas necesarias para ejecutar el script. Luego, simplemente ejecute el script main_convert.py con las opciones apropiadas. Aquí están los comandos principales para ejecutar el programa desde el directorio XMLtoJSON :

• Mostrar información de ayuda:

  python3 scripts/main_convert.py --help

  o

  python3 scripts/main_convert.py --h

• Convierta todo tipo de archivos XML:

  python3 scripts/main_convert.py --type all --input_path " path_for_input_data " --output_path " path_for_output_data "

• Convertir archivos XML relacionados con el nombre:

  python3 scripts/main_convert.py --type names --input_path " path_for_input_data " --output_path " path_for_output_data "

• Convertir archivos XML relacionados con el registro:

  python3 scripts/main_convert.py --type registers --input_path " path_for_input_data " --output_path " path_for_output_data "

• Convertir archivos XML relacionados con el archivo:

  python3 scripts/main_convert.py --type archive --input_path " path_for_input_data " --output_path " path_for_output_data "

Estructura de la carpeta de datos de entrada

La carpeta de datos de entrada debe estructurarse de la siguiente manera:

input_data/
  Archiv/                    # Archive-related XML files
  Regesten/                  # Register-related XML files
  Namen/                     # Name-related XML files
  Indicies/                  # Index-related XML files 

Instrucciones de configuración

Paso 1: Clonar el repositorio

git clone https://github.com/VandlJ.git
cd XMLtoJSON

Paso 2: ejecute la conversión

Para comenzar la conversión, use el script de conversión principal. Por ejemplo, para convertir todos los archivos XML:

python3 scripts/main_convert.py --type all --input_path " ../test_data " --output_path " ../test_data/output "

También puede consultar todas las opciones disponibles y obtener información detallada ejecutando:

python3 scripts/main_convert.py --help

Este comando comenzará a procesar los archivos XML en el directorio especificado --input_path y emitir los resultados al directorio --output_path .

Cambios y mejoras

Este proyecto fue heredado de otro equipo, e hicimos varias mejoras y correcciones significativas para mejorar su funcionalidad y confiabilidad:

1. Manejo de errores: espacios/caracteres en blanco para la sangría en el texto - en los archivos Regesten

   • Anteriormente, los archivos Regesten JSON tenían problemas con los espacios y los caracteres en blanco que causaban errores de sangría. Abordamos esto dividiendo el campo "Texto" en dos valores clave distintos:
     • display : este campo se utiliza para mostrar texto en el interfaz, asegurando que conserve el formato original para su legibilidad.
     • processable : este campo contiene una versión más limpia del texto, optimizado para el procesamiento y el análisis de la computadora.

2. Manejo de metadatos: Metadatos de problemas en Regesten

   • Hubo inconsistencias en la captura de elementos de metadatos, como .p en los archivos Regesten. Faltaban algunos elementos o capturados incorrectamente. Realizamos una revisión exhaustiva y nos aseguramos de que todos los elementos de metadatos ahora sean capturados y procesados ​​con precisión en nuestra iteración del programa.

3. Interactividad mejorada: Agregar información onmouseover="highlightWords(event, '...')" en Regesten

   • Para mejorar la experiencia del usuario, agregamos interactividad a los archivos Regesten. El atributo onmouseover se agregó para resaltar las palabras cuando se desplaza. Los datos procesados ​​ahora incluyen:

      "names" : [
       {
         "Aichholz_Johann" : " Johann Aichholz " ,
         "alias" : " Johann Aichholz Ehrzney doctor "
       },
       {
         "Strauben_Franz" : " Franz Strauben " ,
         "alias" : " Frannzen Strauben "
       }
     ]

4. Procesamiento de nombres: dividir el nombre y el apellido a través de la herramienta externa - Gettyulan

   • Integramos el proyecto con una herramienta externa, Gettyulan, para mejorar el procesamiento de nombres. Esta herramienta o API proporciona enlaces de URL a los autores y devuelve una solicitud por persona. La aplicación consulta el punto final SPARQL Getty, donde cada nombre está validado y procesado. Esta integración garantiza información precisa y enriquecida del autor.
   • Además, realizamos la API para la división de nombres de ejecución asincrónica con almacenamiento en caché, aumentando significativamente el rendimiento al reducir las solicitudes redundantes y mejorar los tiempos de respuesta.

5. Script principal unificado para la conversión

   • Apreciamos el proceso de conversión consolidando los tres scripts de Python principales (previamente utilizados para diferentes tipos de documentos) en un solo script unificado. Este script principal ahora es configurable a través de opciones de terminal, lo que permite a los usuarios especificar --type , --input_path y --output_path . Este cambio simplifica la ejecución y mejora la flexibilidad del proceso de conversión.

6. Instrucciones mejoradas de documentación e configuración

   • Actualizó la documentación para reflejar los nuevos cambios y proporcionar instrucciones de configuración claras. Esto incluye ejemplos de uso detallados y la estructura de la carpeta de datos de entrada esperada para garantizar que los usuarios puedan comenzar fácilmente con el proyecto.

7. Mejoras de rendimiento y correcciones de errores

   • Realizó una revisión exhaustiva de la base de código para identificar y corregir errores. Mejoras de rendimiento implementadas para garantizar que el proceso de conversión sea eficiente y confiable.

8. Correcciones en la salida de archiv tipo JSON

   • Corregió el manejo de las variables de hasSublink , linkTo y next_link en los archivos JSON de salida para el tipo de archiv. Esto asegura que estas variables estén representadas y vinculadas con precisión en la salida JSON.

Estas mejoras han mejorado significativamente la funcionalidad, la usabilidad y la confiabilidad del proyecto XML a JSON Converter, lo que la hace más robusta y fácil de usar.