portuguese_wsc
ENIAC
現在開発中です
ポルトガル語のWinograd Schema Challengeのソルバー。オリジナルのウィノグラードスキーマチャレンジのポルトガル語の翻訳もここで提案されています。
予備的な結果は、会議の論文で提示されました：メロ、ガブリエラ・ソーザ・デ。 imaizumi、Vinicius A.;コズマン、ファビオ・ガグリアルディ。ポルトガル語のウィングラードスキーマ。 In：Encontro nacional deinteligência人工e Computacional、2019。
このプロジェクトは、CUDA GPUを利用できない機械でテストされていません。
dockerfileが利用可能で、 docker build -t wsc_port . nvidia-docker run -it -v $PWD/models:/code/models wsc_port <desired_command> （ie nvidia-docker run -it -v $PWD/models:/code/models wsc_port python -m src.main ）が続きます。
Docker-Composeファイルには、コードを実行するためのいくつかの異なるオプションが含まれています。これは、 docker-compose run <service_name> （すなわちdocker-compose run train ）などのコマンドで実行できます。 Jupyter-Serverの場合は、 docker-compose run --service-ports jupyter-serverで実行されます（Webページにアクセスするためのパスワードはrootです）。
Dockerコンテナの外を走るには、コンドラが必要です。
conda env create -f environment.ymlMakeFileには、コードの実行に使用されるコマンドの一部が含まれています。これらのコマンドは、環境内から実行する必要があります。
make dev-init 。また、このコマンドmake processed-dataが実行されるようにします。これにより、モデルをトレーニングするために必要なデータが準備されます。make reduced-processed-datamake corpusコードの最初の実行をスピードアップします（ただし、必要ありません）make trainmake winograd-testの評価を実行しますmake generateコードは英語とポルトガルの両方のケースで実行され、この設定はsrc.constsの可変PORTUGUESE人によって制御されます。
make testsを使用したテストを実行します。これは、 pytest --cov=src tests/に相当します。 pytest --cov=src --cov-report=html tests/ HTMLテストレポートの生成に使用します。 pytestとpytest-covパッケージが必要です。インポートエラーがある場合は、 pip install -e .ソースコードからパッケージをローカルにインストールします。
また、このリポジトリには、ソルバーが使用する準備が整うように、元のHTMLファイルからWinoGRAD Schema Collection JSONを生成するためのコードもあります。この世代はpython -m src.winograd_collection_manipulation.wsc_subsets_generationを実行することで発生します。翻訳された名前でバージョンを生成するには、その最初のコマンドの後、 python -m src.winograd_collection_manipulation.name_replacerを実行するだけです。これらのコマンドは、JSONファイルがこのリポジトリに既に存在していることを考えると、ソルバーを実行できるように呼び出される必要はありません。ただし、他の言語への課題の翻訳に役立つ場合に備えて、このコードが利用可能になっています。
├── LICENSE
├── Makefile <- Makefile with commands like `make data` or `make train`.
├── README.md <- The top-level README for developers using this project.
├── environment.yml <- Contains project's requirements, generated from Anaconda environment.
├── setup.py <- makes project pip installable (pip install -e .) so src can be imported.
│
├── data
│ ├── external <- Data from third party sources.
│ ├── interim <- Intermediate data that has been transformed.
│ ├── processed <- The final, canonical data sets for modeling.
│ └── raw <- The original, immutable data dump.
│
├── githooks <- Contains githooks scripts being used for development. Git hook directory for repo needs to be set to this folder.
│
├── models <- Trained and serialized models, model predictions, or model summaries. Gitignored due to their size.
│
├── notebooks <- Jupyter notebooks, used during experimentation and testing.
│
├── src <- Source code for use in this project.
│ ├── __init__.py <- Makes src a Python module.
└── tests <- Tests module, using Pytest.
Cookiecutterデータサイエンスプロジェクトテンプレートに基づくプロジェクト。 #cookiecutterdatascience
