XMLtoJSON

XML ถึง JSON Converter

สารบัญ

• XML ถึง JSON Converter
  • สารบัญ
  • ภาพรวม
  • คุณสมบัติ
  • โครงสร้างที่เก็บ
  • การใช้งาน
    • โครงสร้างโฟลเดอร์ข้อมูลอินพุต
  • คำแนะนำการตั้งค่า
    • ขั้นตอนที่ 1: โคลนที่เก็บ
    • ขั้นตอนที่ 2: เรียกใช้การแปลง
  • การเปลี่ยนแปลงและการปรับปรุง

---

ภาพรวม

โครงการนี้มีชุดสคริปต์และเครื่องมือสำหรับการแปลงไฟล์ XML เป็นรูปแบบ JSON มันถูกออกแบบมาเพื่อทำงานกับแหล่งข้อมูล XML ที่แตกต่างกันและสามารถปรับแต่งได้อย่างสมบูรณ์รองรับโมดูลการแปลงหลายรายการ โครงการแบ่งออกเป็นโมดูล Python แยกต่างหากสำหรับการจัดการข้อมูลประเภทต่าง ๆ รวมถึงเอกสารบุคคลและจดหมายเหตุ

วิธีแก้ปัญหารวมถึง:

• วิธีการแยกวิเคราะห์ XML ต่างๆสำหรับการแยกข้อมูลจากไฟล์ XML ประเภทต่างๆ
• เครื่องมือในการจัดการประเภทเอกสารเฉพาะเช่นเอกสารสำคัญงานศิลปะและบุคคล
• โครงสร้างที่ยืดหยุ่นสำหรับการแปลงง่ายและการรวมเข้ากับระบบอื่น ๆ

คุณสมบัติ

• สคริปต์การแปลงแบบกำหนดเอง : ออกแบบมาสำหรับรูปแบบ XML ที่แตกต่างกันรวมถึงเอกสารบุคคลและลิงก์เก็บถาวร
• การจัดการข้อมูลที่ยืดหยุ่น : ความสามารถในการจัดการข้อความข้อมูลเมตาและคุณลักษณะเฉพาะเช่นนามแฝงและการอ้างอิง
• โครงสร้างแบบแยกส่วน : แต่ละประเภท XML ได้รับการจัดการโดยสคริปต์แยกต่างหากทำให้ง่ายต่อการขยายหรือแก้ไข

โครงสร้างที่เก็บ

convert/
  archiveLinkConvert.py      # Handles conversion of archive link XMLs
  artworkConvert.py          # Handles artwork XML data
  commonConvert.py           # Contains common conversion utilities
  personConvert.py           # Handles conversion of person-related XMLs
docs/
  pictures/                  # Picture documentation related to the project
  Analyza_SP.md              # Analysis related documentation
  documentaria_rudolphina.md # Project-specific documentation
model/
  ArchiveLink.py             # Data model for archive links
  Document.py                # Data model for documents
  Person.py                  # Data model for person records
scripts/
  main_convert.py            # Main script to execute conversion
  .gitignore                 # Git ignore configuration
  README.md                  # This documentation file 

การใช้งาน

ในการใช้เครื่องมือนี้คุณจะต้องติดตั้ง Python และ PIP

จากนั้นเรียกใช้คำสั่งต่อไปนี้:

pip install -r requirements.txt

สิ่งนี้จะติดตั้งไลบรารีที่จำเป็นเพื่อเรียกใช้สคริปต์ จากนั้นเพียงเรียกใช้สคริปต์ main_convert.py ด้วยตัวเลือกที่เหมาะสม นี่คือคำสั่งหลักในการเรียกใช้โปรแกรมจากไดเรกทอรี XMLtoJSON :

• แสดงข้อมูลความช่วยเหลือ:

  python3 scripts/main_convert.py --help

  หรือ

  python3 scripts/main_convert.py --h

• แปลงไฟล์ XML ทุกประเภท:

  python3 scripts/main_convert.py --type all --input_path " path_for_input_data " --output_path " path_for_output_data "

• แปลงไฟล์ XML ที่เกี่ยวข้องกับชื่อ:

  python3 scripts/main_convert.py --type names --input_path " path_for_input_data " --output_path " path_for_output_data "

• แปลงไฟล์ XML ที่เกี่ยวข้องกับการลงทะเบียน:

  python3 scripts/main_convert.py --type registers --input_path " path_for_input_data " --output_path " path_for_output_data "

• แปลงไฟล์ XML ที่เกี่ยวข้องกับการเก็บถาวร:

  python3 scripts/main_convert.py --type archive --input_path " path_for_input_data " --output_path " path_for_output_data "

โครงสร้างโฟลเดอร์ข้อมูลอินพุต

โฟลเดอร์ข้อมูลอินพุตควรมีโครงสร้างดังนี้:

input_data/
  Archiv/                    # Archive-related XML files
  Regesten/                  # Register-related XML files
  Namen/                     # Name-related XML files
  Indicies/                  # Index-related XML files 

คำแนะนำการตั้งค่า

ขั้นตอนที่ 1: โคลนที่เก็บ

git clone https://github.com/VandlJ.git
cd XMLtoJSON

ขั้นตอนที่ 2: เรียกใช้การแปลง

ในการเริ่มต้นการแปลงให้ใช้สคริปต์การแปลงหลัก ตัวอย่างเช่นในการแปลงไฟล์ XML ทั้งหมด:

python3 scripts/main_convert.py --type all --input_path " ../test_data " --output_path " ../test_data/output "

คุณยังสามารถตรวจสอบตัวเลือกที่มีอยู่ทั้งหมดและรับข้อมูลรายละเอียดโดยการรัน:

python3 scripts/main_convert.py --help

คำสั่งนี้จะเริ่มการประมวลผลไฟล์ XML ในไดเรกทอรี --input_path ที่ระบุและส่งออกผลลัพธ์ไปยังไดเรกทอรี --output_path

การเปลี่ยนแปลงและการปรับปรุง

โครงการนี้ได้รับการสืบทอดจากทีมอื่นและเราได้ทำการปรับปรุงที่สำคัญหลายประการและแก้ไขเพื่อปรับปรุงการทำงานและความน่าเชื่อถือของมัน:

1. การจัดการข้อผิดพลาด: ช่องว่าง/อักขระว่างสำหรับการเยื้องในข้อความ - ในไฟล์ Regesten

   • ก่อนหน้านี้ไฟล์ Regesten JSON มีปัญหาเกี่ยวกับช่องว่างและอักขระว่างเปล่าที่ทำให้เกิดข้อผิดพลาดการเยื้อง เราแก้ไขสิ่งนี้โดยแยกฟิลด์ "ข้อความ" ออกเป็นสองค่าคีย์ที่แตกต่างกัน:
     • display : ฟิลด์นี้ใช้สำหรับการแสดงข้อความบนส่วนหน้าเพื่อให้แน่ใจว่ามันยังคงรูปแบบดั้งเดิมสำหรับการอ่าน
     • processable : ฟิลด์นี้มีข้อความที่สะอาดกว่าซึ่งได้รับการปรับให้เหมาะสมสำหรับการประมวลผลและการวิเคราะห์คอมพิวเตอร์

2. การจัดการข้อมูลเมตา: ข้อมูลข้อมูลเมตาใน Regesten

   • มีความไม่สอดคล้องกันในการจับองค์ประกอบข้อมูลเมตาเช่น .p ในไฟล์ Regesten องค์ประกอบบางอย่างหายไปหรือถูกจับอย่างไม่ถูกต้อง เราทำการตรวจสอบอย่างละเอียดและทำให้มั่นใจว่าองค์ประกอบข้อมูลเมตาทั้งหมดได้รับการจับและประมวลผลอย่างถูกต้องในการทำซ้ำโปรแกรมของเรา

3. การโต้ตอบที่ปรับปรุงแล้ว: เพิ่มข้อมูล onmouseover="highlightWords(event, '...')" ใน Regesten

   • เพื่อปรับปรุงประสบการณ์ผู้ใช้เราได้เพิ่มการโต้ตอบกับไฟล์ Regesten แอตทริบิวต์ onmouseover ถูกเพิ่มเพื่อเน้นคำเมื่อวางตัวลงไป ข้อมูลที่ประมวลผลตอนนี้รวมถึง:

      "names" : [
       {
         "Aichholz_Johann" : " Johann Aichholz " ,
         "alias" : " Johann Aichholz Ehrzney doctor "
       },
       {
         "Strauben_Franz" : " Franz Strauben " ,
         "alias" : " Frannzen Strauben "
       }
     ]

4. การประมวลผลชื่อ: การแยกชื่อและนามสกุลผ่านเครื่องมือภายนอก - getTyulan

   • เรารวมโครงการเข้ากับเครื่องมือภายนอก Gettyulan เพื่อปรับปรุงการประมวลผลชื่อ เครื่องมือหรือ API นี้ให้ลิงก์ URL ไปยังผู้แต่งและส่งคืนคำขอหนึ่งคำขอต่อคน แอปพลิเคชันสอบถามจุดสิ้นสุดของ Sparql Getty ซึ่งแต่ละชื่อได้รับการตรวจสอบและประมวลผล การบูรณาการนี้ช่วยให้มั่นใจได้ว่าข้อมูลผู้เขียนที่ถูกต้องและมีคุณค่า
   • นอกจากนี้เรายังสร้าง API สำหรับการแยกชื่อแบบอะซิงโครนัสด้วยการแคชเพิ่มประสิทธิภาพอย่างมีนัยสำคัญโดยการลดคำขอซ้ำซ้อนและปรับปรุงเวลาตอบสนอง

5. สคริปต์หลักแบบครบวงจรสำหรับการแปลง

   • เราปรับปรุงกระบวนการแปลงโดยการรวมสคริปต์ Python หลักสามตัว (ก่อนหน้านี้ใช้สำหรับประเภทเอกสารที่แตกต่างกัน) ลงในสคริปต์เดียว ตอนนี้สคริปต์หลักนี้สามารถกำหนดค่าได้ผ่านตัวเลือกเทอร์มินัลช่วยให้ผู้ใช้สามารถระบุ --type , --input_path และ --output_path การเปลี่ยนแปลงนี้ทำให้การดำเนินการง่ายขึ้นและเพิ่มความยืดหยุ่นของกระบวนการแปลง

6. ปรับปรุงเอกสารและคำแนะนำการตั้งค่า

   • อัปเดตเอกสารเพื่อสะท้อนการเปลี่ยนแปลงใหม่และให้คำแนะนำการตั้งค่าที่ชัดเจน ซึ่งรวมถึงตัวอย่างการใช้งานโดยละเอียดและโครงสร้างโฟลเดอร์ข้อมูลอินพุตที่คาดหวังเพื่อให้แน่ใจว่าผู้ใช้สามารถเริ่มต้นกับโครงการได้อย่างง่ายดาย

7. การปรับปรุงประสิทธิภาพและการแก้ไขข้อผิดพลาด

   • ดำเนินการตรวจสอบอย่างครอบคลุมของ codebase เพื่อระบุและแก้ไขข้อบกพร่อง ดำเนินการปรับปรุงประสิทธิภาพเพื่อให้แน่ใจว่ากระบวนการแปลงมีประสิทธิภาพและเชื่อถือได้

8. แก้ไขในเอาต์พุต archiv type json

   • แก้ไขการจัดการตัวแปร hasSublink , linkTo และ next_link ในไฟล์เอาต์พุต JSON สำหรับประเภท ARCHIV สิ่งนี้ทำให้มั่นใจได้ว่าตัวแปรเหล่านี้มีการแสดงและเชื่อมโยงอย่างถูกต้องในเอาต์พุต JSON

การปรับปรุงเหล่านี้ได้ปรับปรุงฟังก์ชั่นการใช้งานและความน่าเชื่อถือของโครงการ XML ไปยัง JSON Converter อย่างมีนัยสำคัญทำให้มีความแข็งแกร่งและเป็นมิตรกับผู้ใช้มากขึ้น