portuguese_wsc
ENIAC
حاليا قيد التطوير
تحدي Solver for Winograd Schema باللغة البرتغالية. كما يتم اقتراح الترجمات البرتغالية لتحدي مخطط Winograd الأصلي هنا.
تم تقديم نتائج أولية على ورقة مؤتمر: ميلو ، غابرييلا سوزا دي ؛ Imaizumi ، Vinicius A. كوزمان ، فابيو غالياردي. مخططات Winograd باللغة البرتغالية. In: Encontro nacional de inteligência acputacional ، 2019.
لم يتم اختبار هذا المشروع في الآلات دون توفر وحدات معالجة الرسومات CUDA.
يتوفر Dockerfile ، ويمكن استخدامه مع docker build -t wsc_port . تليها nvidia-docker run -it -v $PWD/models:/code/models wsc_port <desired_command> (أي nvidia-docker run -it -v $PWD/models:/code/models wsc_port python -m src.main ).
يحتوي ملف Docker-Compose على بعض الخيارات المختلفة لتشغيل الرمز ، والتي يمكن تشغيلها بأوامر مثل: docker-compose run <service_name> (أي docker-compose run train ). بالنسبة لخادم Jupyter ، قم بتشغيله باستخدام docker-compose run --service-ports jupyter-server (كلمة مرور للوصول إلى صفحة الويب الخاصة root ).
للركض خارج حاوية Docker ، مطلوب كوندا.
conda env create -f environment.ymlيحتوي Makefile على بعض الأوامر المستخدمة لتشغيل الرمز. يجب تشغيل هذه الأوامر من داخل البيئة.
make dev-init . make processed-data هذا الأمر أيضًاmake reduced-processed-data تقلل من حجم كل من هذه الانقساماتmake corpus سيسرع أول تشغيل من الكود (ولكن ليس ضروريًا)make train نموذجًاmake winograd-test Runs تقييم تحدي مخطط Winogradmake generate نموذج لغة تشغيل لتوليد النص يتم تشغيل التعليمات البرمجية لكل من الحالات الإنجليزية والبرتغالية ، ويتم التحكم في هذا الإعداد من قبل PORTUGUESE المتغيرة في src.consts .
قم بتشغيل الاختبارات باستخدام make tests ، وهو ما يعادل pytest --cov=src tests/ . استخدم pytest --cov=src --cov-report=html tests/ لتوليد تقرير اختبار HTML. يحتاج Pytest و Pytest-Cov. إذا كانت هناك أخطاء استيراد ، فيجب تشغيل pip install -e . لتثبيت الحزمة محليا من رمز المصدر.
يوجد أيضًا رمز في هذا المستودع لإنشاء مجموعة مخطط Winograd JSON ، من ملف HTML الأصلي ، ليكون جاهزًا لاستخدامه من قبل Solver. يحدث هذا الجيل من خلال تنفيذ python -m src.winograd_collection_manipulation.wsc_subsets_generation . لإنشاء الإصدار بأسماء مترجمة ، بعد هذا الأمر الأول ، ما عليك سوى تشغيل python -m src.winograd_collection_manipulation.name_replacer . لا تحتاج هذه الأوامر إلى استدعاءها لتكون قادرًا على تشغيل المحاليل ، بالنظر إلى أن ملف JSON موجود بالفعل في هذا المستودع. ومع ذلك ، يتم توفير هذا الرمز ، في حال كان بإمكانه المساعدة في ترجمات التحدي إلى اللغات الأخرى.
├── LICENSE
├── Makefile <- Makefile with commands like `make data` or `make train`.
├── README.md <- The top-level README for developers using this project.
├── environment.yml <- Contains project's requirements, generated from Anaconda environment.
├── setup.py <- makes project pip installable (pip install -e .) so src can be imported.
│
├── data
│ ├── external <- Data from third party sources.
│ ├── interim <- Intermediate data that has been transformed.
│ ├── processed <- The final, canonical data sets for modeling.
│ └── raw <- The original, immutable data dump.
│
├── githooks <- Contains githooks scripts being used for development. Git hook directory for repo needs to be set to this folder.
│
├── models <- Trained and serialized models, model predictions, or model summaries. Gitignored due to their size.
│
├── notebooks <- Jupyter notebooks, used during experimentation and testing.
│
├── src <- Source code for use in this project.
│ ├── __init__.py <- Makes src a Python module.
└── tests <- Tests module, using Pytest.
المشروع بناءً على قالب مشروع علوم بيانات CookieCutter. #CookieCutterDataScience
