XMLtoJSON

XML到JSON轉換器

目錄

• XML到JSON轉換器
  • 目錄
  • 概述
  • 特徵
  • 存儲庫結構
  • 用法
    • 輸入數據文件夾結構
  • 設置說明
    • 步驟1：克隆存儲庫
    • 步驟2：運行轉換
  • 變化和改進

---

概述

該項目提供了一組腳本和工具，用於將XML文件轉換為JSON格式。它旨在與不同的XML數據源一起使用，並且可以完全自定義，從而支持多個轉換模塊。該項目分為單獨的Python模塊，用於處理不同類型的數據，包括文檔，人員和檔案。

解決方案包括：

• 各種XML解析方法用於從不同類型的XML文件中提取數據。
• 處理檔案，藝術品和人員等特定文檔類型的工具。
• 一種靈活的結構，可輕鬆轉換和與其他系統集成。

特徵

• 自定義轉換腳本：專為不同的XML格式設計，包括文檔，人員和檔案鏈接。
• 靈活的數據處理：處理文本，元數據和特定屬性（例如別名和參考）的能力。
• 模塊化結構：每種XML類型均由單獨的腳本處理，從而易於擴展或修改。

存儲庫結構

convert/
  archiveLinkConvert.py      # Handles conversion of archive link XMLs
  artworkConvert.py          # Handles artwork XML data
  commonConvert.py           # Contains common conversion utilities
  personConvert.py           # Handles conversion of person-related XMLs
docs/
  pictures/                  # Picture documentation related to the project
  Analyza_SP.md              # Analysis related documentation
  documentaria_rudolphina.md # Project-specific documentation
model/
  ArchiveLink.py             # Data model for archive links
  Document.py                # Data model for documents
  Person.py                  # Data model for person records
scripts/
  main_convert.py            # Main script to execute conversion
  .gitignore                 # Git ignore configuration
  README.md                  # This documentation file 

用法

要使用此工具，您需要安裝Python和PIP。

然後，運行以下命令：

pip install -r requirements.txt

這將安裝必要的庫來運行腳本。然後，只需使用適當的選項運行main_convert.py腳本。這是從XMLtoJSON目錄運行程序的主要命令：

• 顯示幫助信息：

  python3 scripts/main_convert.py --help

  或者

  python3 scripts/main_convert.py --h

• 轉換所有類型的XML文件：

  python3 scripts/main_convert.py --type all --input_path " path_for_input_data " --output_path " path_for_output_data "

• 轉換與名稱相關的XML文件：

  python3 scripts/main_convert.py --type names --input_path " path_for_input_data " --output_path " path_for_output_data "

• 轉換與寄存器相關的XML文件：

  python3 scripts/main_convert.py --type registers --input_path " path_for_input_data " --output_path " path_for_output_data "

• 轉換與存檔相關的XML文件：

  python3 scripts/main_convert.py --type archive --input_path " path_for_input_data " --output_path " path_for_output_data "

輸入數據文件夾結構

輸入數據文件夾應如下構造：

input_data/
  Archiv/                    # Archive-related XML files
  Regesten/                  # Register-related XML files
  Namen/                     # Name-related XML files
  Indicies/                  # Index-related XML files 

設置說明

步驟1：克隆存儲庫

git clone https://github.com/VandlJ.git
cd XMLtoJSON

步驟2：運行轉換

要開始轉換，請使用主轉換腳本。例如，轉換所有XML文件：

python3 scripts/main_convert.py --type all --input_path " ../test_data " --output_path " ../test_data/output "

您還可以查看所有可用選項，並通過運行獲取詳細信息：

python3 scripts/main_convert.py --help

此命令將開始處理指定的--input_path目錄中的XML文件，並將結果輸出到--output_path目錄。

變化和改進

該項目是從另一個團隊繼承的，我們進行了一些重大改進和修復以提高其功能和可靠性：

1. 錯誤處理：文本中的空格/空白字符 - 在regesten文件中

   • 以前，Regesten JSON文件存在空間和空白字符的問題，導致凹痕錯誤。我們通過將“文本”字段分為兩個不同的鑰匙值來解決此問題：
     • display ：此字段用於在前端顯示文本，以確保其保留原始格式以進行可讀性。
     • processable ：此字段包含文本的更清潔版本，已針對計算機處理和分析進行了優化。

2. 元數據處理：Regesten的問題元數據

   • 在捕獲元數據中的元數據元素（例如.p中存在不一致之處。一些元素缺少或錯誤地捕獲。我們進行了徹底的審查，並確保在我們的程序迭代中準確捕獲和處理所有元數據元素。

3. 增強的交互性：添加信息onmouseover="highlightWords(event, '...')"

   • 為了改善用戶體驗，我們在regesten文件中添加了交互性。添加了onmouseover在懸停時的單詞。處理後的數據現在包括：

      "names" : [
       {
         "Aichholz_Johann" : " Johann Aichholz " ,
         "alias" : " Johann Aichholz Ehrzney doctor "
       },
       {
         "Strauben_Franz" : " Franz Strauben " ,
         "alias" : " Frannzen Strauben "
       }
     ]

4. 名稱處理：通過外部工具分開名稱和姓氏-Gettyulan

   • 我們將項目與外部工具Gettyulan集成在一起，以增強名稱處理。此工具或API提供指向作者的URL鏈接，並每人返回一個請求。該應用程序查詢SPARQL端點Getty，其中每個名稱均經過驗證和處理。這種集成確保了準確且豐富的作者信息。
   • 此外，我們通過緩存使名稱分裂運行的API不同步，通過減少冗餘請求並改善響應時間來大大提高性能。

5. 轉換的統一主腳本

   • 我們通過將三個主要Python腳本（以前用於不同文檔類型）合併為一個統一的腳本來簡化轉換過程。現在，此主要腳本可通過終端選項配置，允許用戶指定--type ， --input_path和--output_path 。此更改簡化了執行並增強了轉換過程的靈活性。

6. 改進的文檔和設置說明

   • 更新了文檔，以反映新的更改並提供清晰的設置說明。這包括詳細的用法示例和預期的輸入數據文件夾結構，以確保用戶可以輕鬆地開始該項目。

7. 性能增強和錯誤修復

   • 對代碼庫進行了全面的審查，以識別和修復錯誤。實施性能增強功能，以確保轉化過程有效且可靠。

8. 修復Archiv類型JSON輸出

   • 更正了Archiv類型的輸出JSON文件中的hasSublink ， linkTo和next_link變量的處理。這樣可以確保這些變量在JSON輸出中準確表示和鏈接。

這些改進大大提高了XML對JSON Converter項目的功能，可用性和可靠性，從而使其更強大和用戶友好。