gobbli

Это библиотека, предназначенная для обеспечения единого интерфейса для различных моделей глубокого обучения для текста через программно созданные контейнеры Docker.

Использование

См. Документы для предварительных условий, QuickStart и ссылки API. Вкратце, вам нужно установить Docker с соответствующими разрешениями для вашей учетной записи для запуска команд Docker и Python 3.7. Затем запустите следующее:

 pip install gobbli

Вы также можете захотеть проверить тесты, чтобы увидеть некоторые сравнения реализации Гоббли различных моделей в разных ситуациях.

Интерактивный

Gobbli предоставляет приложения Streamlit для выполнения некоторых интерактивных задач в веб -браузере, таких как исследование данных и оценка модели. После того, как вы установили библиотеку, вы можете запустить комплексные приложения, используя приложение командной строки gobbli . Проверьте документы для получения дополнительной информации.

Разработка

Предполагая, что у вас есть все предпосылки, отмеченные выше, вам необходимо установить пакет и все необходимые + дополнительные зависимости в режиме разработки:

 pip install -e ".[augment,tokenize,interactive]"

Установите дополнительные зависимости Dev:

 pip install -r requirements.txt

Запустить линтинг, автоформатирование и тесты:

 ./run_ci.sh

Чтобы избежать вручную исправлять некоторые из этих ошибок, рассмотрите возможность включения поддержки Isort и Black в вашем любимом редакторе.

Если вы запускаете тесты в среде с менее чем 12 ГБ памяти, вам захочется передать аргумент- --low-resource при запуске тестов, чтобы избежать ошибок в памяти.

Примечание. При запуске на Mac, даже при наличии адекватной памяти, вы можете столкнуться с ошибками памяти (состояние 137 выхода) при запуске тестов. Это связано с тем, что недостаточно памяти распределяется на ваш Docker Daemon. Попробуйте перейти к Docker для Mac -> Preferences -> Advanced и поднятие «память» до 12 Гиб или более.

Если вы хотите запустить включенные (ы) тесты (ы), см. Аргументы --use-gpu и --nvidia-visible-devices в py.test --help . Если у вашей локальной машины нет графического процессора NVIDIA, но у вас есть доступ к тому, что делает через SSH, вы можете использовать скрипт test_remote_gpu.sh для запуска тестов с помощью графического процессора, включенного через SSH.

Док

Чтобы сгенерировать документы, установите требования DOCS:

 pip install -r docs/requirements.txt

Поскольку структура DOC автоматически генерирована из библиотеки, вы должны также установить библиотеку (и все его зависимости).

Затем запустите следующее из корня репозитория:

 ./generate_docs.sh

Затем просмотрите сгенерированную документацию в docs/_build/html .

Атрибуция

Гоббли не существовал бы без публичного выпуска нескольких современных моделей. Библиотека включает в себя:

• Берт, выпущенный Google
• MT-DNN, выпущенный Microsoft
• Universal Sendence Encoder, выпущенный Google
• Fasttext, выпущенный Facebook
• Трансформеры, выпущенные, обнимая лицо
• Spacy, по взрыву
• Scikit-learn

Первоначальная работа над библиотекой была профинансирована RTI International.

Дизайн логотипа Марсия Андервуд.