portuguese_wsc

Portugiesische Winograd Schema Herausforderung

Derzeit in der Entwicklung

Solver für Winograd Schema Challenge in Portugiesisch. Hier werden auch portugiesische Übersetzungen für die ursprüngliche Winograd -Schema -Herausforderung vorgeschlagen.

Vorläufige Ergebnisse wurden auf einem Konferenzpapier vorgestellt: Melo, Gabriela Souza DE; Imaizumi, Vinicius A .; Cozman, Fabio Gagliardi. Winograd Schemas in Portugiesisch. In: Encontro Nacional de Inteligência Artificial e computacional, 2019.

---

Projekt -Setup

• Dieses Projekt wurde nicht in Maschinen ohne CUDA -GPUs getestet.

• Eine Dockerfile ist verfügbar und kann mit docker build -t wsc_port . gefolgt von nvidia-docker run -it -v $PWD/models:/code/models wsc_port <desired_command> (dh nvidia-docker run -it -v $PWD/models:/code/models wsc_port python -m src.main ).

• Die Docker-Compose docker-compose run train Datei enthält verschiedene Optionen zum Ausführen des Codes, die mit Befehlen ausgeführt werden können docker-compose run <service_name> z. Laufen Sie für den Jupyter-Server mit docker-compose run --service-ports jupyter-server (Kennwort zum Zugriff auf die Webseite für IT IS root ).

• Um außerhalb des Docker -Containers zu laufen, ist Conda erforderlich.

  • Um die Conda -Umgebung zu schaffen: conda env create -f environment.yml

• Makefile enthält einige der Befehle, mit denen der Code ausgeführt wurde. Diese Befehle müssen aus der Umgebung ausgeführt werden.

  • Um die Umgebung für die Ausführung des Projekts einzurichten: make dev-init . Dieser Befehl stellt auch sicher, make processed-data ausgeführt werden, wodurch Daten vorbereitet werden, die zum Training des Modells erforderlich sind
    • Die Daten, die dem verwendeten Korpus entsprechen, sind wie folgt organisiert:
      • Rohdaten: Dateien, die verwendet werden, um das endgültige Winograd Schema Challenge -Schema -Sammlung Jsons zu generieren
      • Externe Daten: Die komprimierte XML -Datei, wie aus dem Dump -Archiv von Wikipedia heruntergeladen
      • Zwischendaten: TXT -Dateien, die aus den oben genannten extrahiert wurden. Kann zwischen verschiedenen, kleineren Dateien aufgeteilt werden oder nicht
      • Verarbeitete Daten: TXT -Dateien, die einen Text aufgeteilt, der zwischen Zug, Test und Validierung aufgeteilt ist. Es enthält auch die generierte Winograd Schema Challenge Schema -Sammlung Jsons.
        • Darüber hinaus make reduced-processed-data , die die Größe jeder dieser Spaltungen reduzieren
  • Laufen make corpus beschleunigt den ersten Code -Lauf (ist jedoch nicht erforderlich)
  • make train ein Modell
  • make winograd-test -Runs-Bewertungen der Winograd Schema Challenge
  • make generate Runs -Sprachmodell für die Generierung von Text

• Der Code wird sowohl für englische als auch für portugiesische Fälle ausgeführt, und diese Einstellung wird von den variablen PORTUGUESE in src.consts gesteuert.

• Führen Sie Tests mit make tests aus, die mit pytest --cov=src tests/ gleichwertig entsprechen. Verwenden Sie pytest --cov=src --cov-report=html tests/ Für die Erzeugung des HTML-Testberichts. Benötigt PyTest- und PyTest-CoV-Pakete. Wenn Importfehler vorliegen, sollte pip install -e . Um das Paket aus dem Quellcode lokal zu installieren.

Winograd Collection Generation

In diesem Repository gibt es auch Code für die Generierung der Winograd Schema -Sammlung JSON aus der ursprünglichen HTML -Datei, die vom Löser verwendet werden kann. Diese Generation erfolgt durch Ausführung python -m src.winograd_collection_manipulation.wsc_subsets_generation . Um die Version mit übersetzten Namen nach diesem ersten Befehl zu generieren, führen Sie einfach python -m src.winograd_collection_manipulation.name_replacer aus. Diese Befehle müssen nicht aufgerufen werden, um den Löser ausführen zu können, da die JSON -Datei in diesem Repository bereits vorhanden ist. Dieser Code wird jedoch zur Verfügung gestellt, falls er bei Übersetzungen für die Herausforderung für andere Sprachen helfen kann.

---

Projektorganisation

 ├── LICENSE
├── Makefile           <- Makefile with commands like `make data` or `make train`.
├── README.md          <- The top-level README for developers using this project.
├── environment.yml    <- Contains project's requirements, generated from Anaconda environment.
├── setup.py           <- makes project pip installable (pip install -e .) so src can be imported.
│
├── data
│   ├── external       <- Data from third party sources.
│   ├── interim        <- Intermediate data that has been transformed.
│   ├── processed      <- The final, canonical data sets for modeling.
│   └── raw            <- The original, immutable data dump.
│
├── githooks           <- Contains githooks scripts being used for development. Git hook directory for repo needs to be set to this folder.
│
├── models             <- Trained and serialized models, model predictions, or model summaries. Gitignored due to their size.
│
├── notebooks          <- Jupyter notebooks, used during experimentation and testing.
│
├── src                <- Source code for use in this project.
│   ├── __init__.py    <- Makes src a Python module.
└── tests              <- Tests module, using Pytest.

Projekt basierend auf der CookieCutter Data Science -Projektvorlage. #CookieCutterDatascience

---

Referenzen

• Code für Sprachmodell basierend auf Pytorchs Sprachmodellierung auf Wortebene RNN-Beispiel
• Code zur Parallelisierung des Pytorch-Modells basierend auf dem Pytorch-kodierenden Paket mit Hilfe dieses mittleren Beitrags.
• Idee der Verwendung eines Sprachmodells zur Lösung von Winograd Schema -Herausforderung basierend auf dem Papier "Eine einfache Methode zur gesunden Menschenverstand" von Trieu H. Trinh und Quoc V. Le, 2018.