XMLtoJSON下载XMLtoJSON源代码下载

XMLtoJSON

其他源码

1.0.0

下载

XML到JSON转换器

概述

该项目提供了一组脚本和工具，用于将XML文件转换为JSON格式。它旨在与不同的XML数据源一起使用，并且可以完全自定义，从而支持多个转换模块。该项目分为单独的Python模块，用于处理不同类型的数据，包括文档，人员和档案。

解决方案包括：

各种XML解析方法用于从不同类型的XML文件中提取数据。
处理档案，艺术品和人员等特定文档类型的工具。
一种灵活的结构，可轻松转换和与其他系统集成。

特征

自定义转换脚本：专为不同的XML格式设计，包括文档，人员和档案链接。
灵活的数据处理：处理文本，元数据和特定属性（例如别名和参考）的能力。
模块化结构：每种XML类型均由单独的脚本处理，从而易于扩展或修改。

存储库结构

convert/
  archiveLinkConvert.py      # Handles conversion of archive link XMLs
  artworkConvert.py          # Handles artwork XML data
  commonConvert.py           # Contains common conversion utilities
  personConvert.py           # Handles conversion of person-related XMLs
docs/
  pictures/                  # Picture documentation related to the project
  Analyza_SP.md              # Analysis related documentation
  documentaria_rudolphina.md # Project-specific documentation
model/
  ArchiveLink.py             # Data model for archive links
  Document.py                # Data model for documents
  Person.py                  # Data model for person records
scripts/
  main_convert.py            # Main script to execute conversion
  .gitignore                 # Git ignore configuration
  README.md                  # This documentation file

用法

要使用此工具，您需要安装Python和PIP。

然后，运行以下命令：

pip install -r requirements.txt

这将安装必要的库来运行脚本。然后，只需使用适当的选项运行main_convert.py脚本。这是从XMLtoJSON目录运行程序的主要命令：

显示帮助信息：

python3 scripts/main_convert.py --help

或者

python3 scripts/main_convert.py --h

转换所有类型的XML文件：

python3 scripts/main_convert.py --type all --input_path " path_for_input_data " --output_path " path_for_output_data "

转换与名称相关的XML文件：

python3 scripts/main_convert.py --type names --input_path " path_for_input_data " --output_path " path_for_output_data "

转换与寄存器相关的XML文件：

python3 scripts/main_convert.py --type registers --input_path " path_for_input_data " --output_path " path_for_output_data "

转换与存档相关的XML文件：

python3 scripts/main_convert.py --type archive --input_path " path_for_input_data " --output_path " path_for_output_data "

输入数据文件夹结构

输入数据文件夹应如下构造：

input_data/
  Archiv/                    # Archive-related XML files
  Regesten/                  # Register-related XML files
  Namen/                     # Name-related XML files
  Indicies/                  # Index-related XML files

设置说明

步骤1：克隆存储库

git clone https://github.com/VandlJ.git
cd XMLtoJSON

步骤2：运行转换

要开始转换，请使用主转换脚本。例如，转换所有XML文件：

python3 scripts/main_convert.py --type all --input_path " ../test_data " --output_path " ../test_data/output "

您还可以查看所有可用选项，并通过运行获取详细信息：

python3 scripts/main_convert.py --help

此命令将开始处理指定的--input_path目录中的XML文件，并将结果输出到--output_path目录。

变化和改进

该项目是从另一个团队继承的，我们进行了一些重大改进和修复以提高其功能和可靠性：

错误处理：文本中的空格/空白字符 - 在regesten文件中
- 以前，Regesten JSON文件存在空间和空白字符的问题，导致凹痕错误。我们通过将“文本”字段分为两个不同的钥匙值来解决此问题：
  - display ：此字段用于在前端显示文本，以确保其保留原始格式以进行可读性。
  - processable ：此字段包含文本的更清洁版本，已针对计算机处理和分析进行了优化。
元数据处理：Regesten的问题元数据
- 在捕获元数据中的元数据元素（例如.p中存在不一致之处。一些元素缺少或错误地捕获。我们进行了彻底的审查，并确保在我们的程序迭代中准确捕获和处理所有元数据元素。

增强的交互性：添加信息onmouseover="highlightWords(event, '...')"

为了改善用户体验，我们在regesten文件中添加了交互性。添加了onmouseover在悬停时的单词。处理后的数据现在包括：

 "names" : [
  {
    "Aichholz_Johann" : " Johann Aichholz " ,
    "alias" : " Johann Aichholz Ehrzney doctor "
  },
  {
    "Strauben_Franz" : " Franz Strauben " ,
    "alias" : " Frannzen Strauben "
  }
]

名称处理：通过外部工具分开名称和姓氏-Gettyulan
- 我们将项目与外部工具Gettyulan集成在一起，以增强名称处理。此工具或API提供指向作者的URL链接，并每人返回一个请求。该应用程序查询SPARQL端点Getty，其中每个名称均经过验证和处理。这种集成确保了准确且丰富的作者信息。
- 此外，我们通过缓存使名称分裂运行的API不同步，通过减少冗余请求并改善响应时间来大大提高性能。
转换的统一主脚本
- 我们通过将三个主要Python脚本（以前用于不同文档类型）合并为一个统一的脚本来简化转换过程。现在，此主要脚本可通过终端选项配置，允许用户指定--type ， --input_path和--output_path 。此更改简化了执行并增强了转换过程的灵活性。
改进的文档和设置说明
- 更新了文档，以反映新的更改并提供清晰的设置说明。这包括详细的用法示例和预期的输入数据文件夹结构，以确保用户可以轻松地开始该项目。
性能增强和错误修复
- 对代码库进行了全面的审查，以识别和修复错误。实施性能增强功能，以确保转化过程有效且可靠。
修复Archiv类型JSON输出
- 更正了Archiv类型的输出JSON文件中的hasSublink ， linkTo和next_link变量的处理。这样可以确保这些变量在JSON输出中准确表示和链接。