XMLtoJSON

XML ke JSON Converter

Daftar isi

• XML ke JSON Converter
  • Daftar isi
  • Ringkasan
  • Fitur
  • Struktur repositori
  • Penggunaan
    • Struktur Folder Data Input
  • Petunjuk Pengaturan
    • Langkah 1: Kloning repositori
    • Langkah 2: Jalankan konversi
  • Perubahan dan perbaikan

---

Ringkasan

Proyek ini menyediakan serangkaian skrip dan alat untuk mengubah file XML menjadi format JSON. Ini dirancang untuk bekerja dengan sumber data XML yang berbeda dan sepenuhnya dapat disesuaikan, mendukung beberapa modul konversi. Proyek ini dibagi menjadi modul Python terpisah untuk menangani berbagai jenis data, termasuk dokumen, orang, dan arsip.

Solusinya meliputi:

• Berbagai metode parsing XML untuk mengekstraksi data dari berbagai jenis file XML.
• Alat untuk menangani jenis dokumen tertentu seperti arsip, karya seni, dan orang.
• Struktur fleksibel untuk konversi dan integrasi yang mudah dengan sistem lain.

Fitur

• Script Konversi Kustom : Dirancang untuk berbagai format XML, termasuk dokumen, orang, dan tautan arsip.
• Penanganan Data Fleksibel : Kemampuan untuk menangani teks, metadata, dan atribut spesifik seperti alias dan referensi.
• Struktur Modular : Setiap tipe XML ditangani oleh skrip terpisah, membuatnya mudah untuk memperluas atau memodifikasi.

Struktur repositori

convert/
  archiveLinkConvert.py      # Handles conversion of archive link XMLs
  artworkConvert.py          # Handles artwork XML data
  commonConvert.py           # Contains common conversion utilities
  personConvert.py           # Handles conversion of person-related XMLs
docs/
  pictures/                  # Picture documentation related to the project
  Analyza_SP.md              # Analysis related documentation
  documentaria_rudolphina.md # Project-specific documentation
model/
  ArchiveLink.py             # Data model for archive links
  Document.py                # Data model for documents
  Person.py                  # Data model for person records
scripts/
  main_convert.py            # Main script to execute conversion
  .gitignore                 # Git ignore configuration
  README.md                  # This documentation file 

Penggunaan

Untuk menggunakan alat ini, Anda akan membutuhkan Python dan Pip terpasang.

Kemudian, jalankan perintah berikut:

pip install -r requirements.txt

Ini akan menginstal pustaka yang diperlukan untuk menjalankan skrip. Kemudian cukup jalankan skrip main_convert.py dengan opsi yang sesuai. Berikut adalah perintah utama untuk menjalankan program dari direktori XMLtoJSON :

• Tampilkan informasi bantuan:

  python3 scripts/main_convert.py --help

  atau

  python3 scripts/main_convert.py --h

• Konversi semua jenis file XML:

  python3 scripts/main_convert.py --type all --input_path " path_for_input_data " --output_path " path_for_output_data "

• Konversi file XML terkait nama:

  python3 scripts/main_convert.py --type names --input_path " path_for_input_data " --output_path " path_for_output_data "

• Konversi file XML terkait register:

  python3 scripts/main_convert.py --type registers --input_path " path_for_input_data " --output_path " path_for_output_data "

• Konversi file XML terkait arsip:

  python3 scripts/main_convert.py --type archive --input_path " path_for_input_data " --output_path " path_for_output_data "

Struktur Folder Data Input

Folder data input harus disusun sebagai berikut:

input_data/
  Archiv/                    # Archive-related XML files
  Regesten/                  # Register-related XML files
  Namen/                     # Name-related XML files
  Indicies/                  # Index-related XML files 

Petunjuk Pengaturan

Langkah 1: Kloning repositori

git clone https://github.com/VandlJ.git
cd XMLtoJSON

Langkah 2: Jalankan konversi

Untuk memulai konversi, gunakan skrip konversi utama. Misalnya, untuk mengonversi semua file XML:

python3 scripts/main_convert.py --type all --input_path " ../test_data " --output_path " ../test_data/output "

Anda juga dapat memeriksa semua opsi yang tersedia dan mendapatkan informasi terperinci dengan menjalankan:

python3 scripts/main_convert.py --help

Perintah ini akan mulai memproses file XML di direktori --input_path yang ditentukan dan output hasilnya ke direktori --output_path .

Perubahan dan perbaikan

Proyek ini diwarisi dari tim lain, dan kami membuat beberapa peningkatan dan perbaikan yang signifikan untuk meningkatkan fungsionalitas dan keandalannya:

1. Penanganan Kesalahan: Spaces/Karakter Kosong Untuk Indentasi Teks - Di File Regesten

   • Sebelumnya, file JSON Regesten memiliki masalah dengan spasi dan karakter kosong yang menyebabkan kesalahan indentasi. Kami membahas ini dengan membagi bidang "Teks" menjadi dua nilai kunci yang berbeda:
     • display : Bidang ini digunakan untuk menampilkan teks di frontend, memastikan ia mempertahankan pemformatan asli untuk keterbacaan.
     • processable : Bidang ini berisi versi teks yang lebih bersih, dioptimalkan untuk pemrosesan dan analisis komputer.

2. Metadata Handling: Masalah Metadata di Regesten

   • Ada ketidakkonsistenan dalam menangkap elemen metadata seperti .p dalam file Regesten. Beberapa elemen hilang atau salah ditangkap. Kami melakukan tinjauan menyeluruh dan memastikan bahwa semua elemen metadata sekarang secara akurat ditangkap dan diproses dalam iterasi program kami.

3. Enhanced Interactivity: Tambahkan Informasi onmouseover="highlightWords(event, '...')" di Regesten

   • Untuk meningkatkan pengalaman pengguna, kami menambahkan interaktivitas ke file Regesten. Atribut onmouseover ditambahkan untuk menyoroti kata -kata ketika melayang. Data yang diproses sekarang termasuk:

      "names" : [
       {
         "Aichholz_Johann" : " Johann Aichholz " ,
         "alias" : " Johann Aichholz Ehrzney doctor "
       },
       {
         "Strauben_Franz" : " Franz Strauben " ,
         "alias" : " Frannzen Strauben "
       }
     ]

4. Pemrosesan Nama: Memecah Nama Depan dan Nama Belakang Melalui Alat Eksternal - Gettyulan

   • Kami mengintegrasikan proyek dengan alat eksternal, Gettyulan, untuk meningkatkan pemrosesan nama. Alat atau API ini menyediakan tautan URL ke penulis dan mengembalikan satu permintaan per orang. Aplikasi menanyakan titik akhir SPARQL Getty, di mana setiap nama divalidasi dan diproses. Integrasi ini memastikan informasi penulis yang akurat dan diperkaya.
   • Selain itu, kami membuat API untuk pemisahan nama berjalan secara tidak sinkron dengan caching, secara signifikan meningkatkan kinerja dengan mengurangi permintaan yang berlebihan dan meningkatkan waktu respons.

5. Skrip utama terpadu untuk konversi

   • Kami merampingkan proses konversi dengan mengkonsolidasikan tiga skrip Python utama (sebelumnya digunakan untuk berbagai jenis dokumen) menjadi satu skrip tunggal yang terpadu. Script utama ini sekarang dapat dikonfigurasi melalui opsi terminal, memungkinkan pengguna untuk menentukan --type , --input_path , dan --output_path . Perubahan ini menyederhanakan eksekusi dan meningkatkan fleksibilitas proses konversi.

6. Instruksi dokumentasi dan pengaturan yang ditingkatkan

   • Memperbarui dokumentasi untuk mencerminkan perubahan baru dan memberikan instruksi pengaturan yang jelas. Ini termasuk contoh penggunaan terperinci dan struktur folder data input yang diharapkan untuk memastikan pengguna dapat dengan mudah memulai proyek.

7. Peningkatan kinerja dan perbaikan bug

   • Melakukan tinjauan komprehensif dari basis kode untuk mengidentifikasi dan memperbaiki bug. Peningkatan kinerja yang diimplementasikan untuk memastikan proses konversi efisien dan dapat diandalkan.

8. Perbaikan dalam output JSON tipe arsip

   • Mengoreksi penanganan variabel hasSublink , linkTo , dan next_link dalam file JSON output untuk jenis arsip. Ini memastikan bahwa variabel -variabel ini diwakili secara akurat dan terhubung dalam output JSON.

Perbaikan ini telah secara signifikan meningkatkan fungsionalitas, kegunaan, dan keandalan proyek konverter XML ke JSON, membuatnya lebih kuat dan ramah pengguna.