XMLtoJSONダウンロードXMLtoJSONソースコードのダウンロード

XMLtoJSON

その他のソースコード

1.0.0

ダウンロード

XMLからJSONコンバーター

概要

このプロジェクトは、XMLファイルをJSON形式に変換するための一連のスクリプトとツールを提供します。さまざまなXMLデータソースを使用するように設計されており、複数の変換モジュールをサポートする完全にカスタマイズ可能です。このプロジェクトは、ドキュメント、人、アーカイブなど、さまざまな種類のデータを処理するための個別のPythonモジュールに分割されています。

ソリューションには以下が含まれます。

さまざまなタイプのXMLファイルからデータを抽出するためのさまざまなXML解析方法。
アーカイブ、アートワーク、人などの特定のドキュメントタイプを処理するためのツール。
他のシステムとの簡単な変換と統合のための柔軟な構造。

特徴

カスタム変換スクリプト：ドキュメント、パーソン、アーカイブリンクなど、さまざまなXML形式用に設計されています。
柔軟なデータ処理：テキスト、メタデータ、およびエイリアスや参照などの特定の属性を処理する機能。
モジュラー構造：各XMLタイプは個別のスクリプトで処理されるため、拡張または変更が容易になります。

リポジトリ構造

convert/
  archiveLinkConvert.py      # Handles conversion of archive link XMLs
  artworkConvert.py          # Handles artwork XML data
  commonConvert.py           # Contains common conversion utilities
  personConvert.py           # Handles conversion of person-related XMLs
docs/
  pictures/                  # Picture documentation related to the project
  Analyza_SP.md              # Analysis related documentation
  documentaria_rudolphina.md # Project-specific documentation
model/
  ArchiveLink.py             # Data model for archive links
  Document.py                # Data model for documents
  Person.py                  # Data model for person records
scripts/
  main_convert.py            # Main script to execute conversion
  .gitignore                 # Git ignore configuration
  README.md                  # This documentation file

使用法

このツールを使用するには、PythonとPIPがインストールされる必要があります。

次に、次のコマンドを実行します。

pip install -r requirements.txt

これにより、スクリプトを実行するために必要なライブラリをインストールします。次に、適切なオプションでmain_convert.pyスクリプトを実行するだけです。 XMLtoJSONディレクトリからプログラムを実行する主なコマンドは次のとおりです。

ヘルプ情報を表示：

python3 scripts/main_convert.py --help

または

python3 scripts/main_convert.py --h

すべてのタイプのXMLファイルを変換します。

python3 scripts/main_convert.py --type all --input_path " path_for_input_data " --output_path " path_for_output_data "

名前関連のXMLファイルを変換します：

python3 scripts/main_convert.py --type names --input_path " path_for_input_data " --output_path " path_for_output_data "

レジスタ関連のXMLファイルを変換します：

python3 scripts/main_convert.py --type registers --input_path " path_for_input_data " --output_path " path_for_output_data "

アーカイブ関連のXMLファイルを変換します：

python3 scripts/main_convert.py --type archive --input_path " path_for_input_data " --output_path " path_for_output_data "

入力データフォルダー構造

入力データフォルダーは、次のように構成する必要があります。

input_data/
  Archiv/                    # Archive-related XML files
  Regesten/                  # Register-related XML files
  Namen/                     # Name-related XML files
  Indicies/                  # Index-related XML files

セットアップ手順

ステップ1：リポジトリをクローンします

git clone https://github.com/VandlJ.git
cd XMLtoJSON

ステップ2：変換を実行します

変換を開始するには、メイン変換スクリプトを使用します。たとえば、すべてのXMLファイルを変換するには：

python3 scripts/main_convert.py --type all --input_path " ../test_data " --output_path " ../test_data/output "

また、利用可能なすべてのオプションをチェックして、実行して詳細情報を取得することもできます。

python3 scripts/main_convert.py --help

このコマンドは、指定された--input_pathディレクトリのXMLファイルの処理を開始し、結果を--output_pathディレクトリに出力します。

変更と改善

このプロジェクトは別のチームから継承され、その機能と信頼性を高めるためにいくつかの大幅な改善と修正を行いました。

エラー処理：テキストのインデントのためのスペース/空白文字 - Regestenファイル
- 以前は、Regesten JSONファイルには、スペースや空白の文字がインデントエラーを引き起こす問題がありました。「テキスト」フィールドを2つの異なるキー値に分割することでこれに対処しました。
  - display ：このフィールドは、フロントエンドにテキストを表示するために使用され、読みやすさのために元のフォーマットを保持するようにします。
  - processable ：このフィールドには、コンピューター処理と分析用に最適化されたクリーンなバージョンのテキストが含まれています。
メタデータ処理：Regestenの問題メタデータ
- Regestenファイルで.pなどのメタデータ要素をキャプチャする際に矛盾がありました。いくつかの要素が欠落しているか、誤ってキャプチャされました。徹底的なレビューを実施し、すべてのメタデータ要素がプログラムの反復で正確にキャプチャおよび処理されるようにしました。
インタラクティブ性の強化： onmouseover="highlightWords(event, '...')" onmouse on onmouseover = "を追加します
- ユーザーエクスペリエンスを向上させるために、Regestenファイルにインタラクティブ性を追加しました。 onmouseover属性が追加され、ホバリング時に単語を強調表示しました。処理されたデータには、次のものが含まれます。
```
 "names" : [
  {
    "Aichholz_Johann" : " Johann Aichholz " ,
    "alias" : " Johann Aichholz Ehrzney doctor "
  },
  {
    "Strauben_Franz" : " Franz Strauben " ,
    "alias" : " Frannzen Strauben "
  }
]
```
名前処理：外部ツールを介して名と姓を分割する-Gettyulan
- プロジェクトを外部ツールであるGettyulanと統合して、名前の処理を強化しました。このツールまたはAPIは、著者へのURLリンクを提供し、1人ごとに1つのリクエストを返します。アプリケーションは、各名前が検証および処理されたSPARQLエンドポイントGettyを照会します。この統合により、正確で濃縮された著者情報が保証されます。
- さらに、名前を分割するためのAPIをキャッシングで非同期に実行し、冗長リクエストを減らして応答時間を改善することでパフォーマンスを大幅に向上させました。
変換のための統一されたメインスクリプト
- 3つの主要なPythonスクリプト（以前は異なるドキュメントタイプに使用されていた）を単一の統合スクリプトに統合することにより、変換プロセスを合理化しました。このメインスクリプトは、ターミナルオプションを介して構成できるようになり、ユーザーは--type 、 --input_path 、および--output_path指定できます。この変更により、実行が簡素化され、変換プロセスの柔軟性が向上します。
ドキュメントとセットアップの指示を改善しました
- ドキュメントを更新して、新しい変更を反映し、明確なセットアップ命令を提供しました。これには、ユーザーがプロジェクトを簡単に開始できるようにするための詳細な使用例と予想される入力データフォルダー構造が含まれます。
パフォーマンスの向上とバグの修正
- バグを識別および修正するために、コードベースの包括的なレビューを実施しました。変換プロセスが効率的かつ信頼性が高いことを確認するために、実装されたパフォーマンス強化。
ArchIVタイプJSON出力の修正
- ArchIVタイプの出力JSONファイルのhasSublink 、 linkTo 、およびnext_link変数の処理を修正しました。これにより、これらの変数がJSON出力で正確に表され、リンクされることが保証されます。