gobbli

Esta es una biblioteca diseñada para proporcionar una interfaz uniforme a varios modelos de aprendizaje profundo para texto a través de contenedores Docker creados programáticamente.

Uso

Vea los documentos de requisitos previos, un inicio rápido y la referencia de la API. En resumen, necesita instalado Docker con los permisos apropiados para su cuenta de usuario para ejecutar los comandos de Docker y Python 3.7. Luego ejecute lo siguiente:

 pip install gobbli

También es posible que desee consultar los puntos de referencia para ver algunas comparaciones de la implementación de Gobbli de varios modelos en diferentes situaciones.

Interactivo

GobBli proporciona aplicaciones de transmisión para realizar algunas tareas interactivas en un navegador web, como la exploración de datos y la evaluación del modelo. Una vez que haya instalado la biblioteca, puede ejecutar las aplicaciones agrupadas utilizando la aplicación de línea de comandos gobbli . Consulte los documentos para obtener más información.

Desarrollo

Suponiendo que tenga todos los requisitos previos mencionados anteriormente, debe instalar el paquete y todas las dependencias opcionales requeridas + en modo de desarrollo:

 pip install -e ".[augment,tokenize,interactive]"

Instalar devoluciones adicionales:

 pip install -r requirements.txt

Ejecute pelusas, autoformatting y pruebas:

 ./run_ci.sh

Para evitar arreglar manualmente algunos de estos errores, considere habilitar el soporte ISORT y Black en su editor favorito.

Si está ejecutando pruebas en un entorno con menos de 12 GB de memoria, querrá aprobar el argumento --low-resource cuando se ejecuta pruebas para evitar errores de memoria.

Nota: Si se ejecuta en una Mac, incluso con memoria adecuada disponible, puede encontrar errores de memoria (estado de salida 137) al ejecutar las pruebas. Esto se debe a que no se asigna suficiente memoria a su Docker Daemon. Intente ir a Docker para Mac -> Preferencias -> Avanzado y elevando la "memoria" a 12GIB o más.

Si desea ejecutar las pruebas GPU (s) habilitadas, consulte los argumentos --use-gpu y --nvidia-visible-devices bajo py.test --help . Si su máquina local no tiene una GPU NVIDIA, pero tiene acceso a una que lo hace a través de SSH, puede usar el script test_remote_gpu.sh para ejecutar las pruebas con GPU habilitado a través de SSH.

Documento

Para generar los documentos, instale los requisitos de los documentos:

 pip install -r docs/requirements.txt

Dado que la estructura DOC se genera automáticamente desde la biblioteca, también debe tener la biblioteca (y todas sus dependencias) instalada.

Luego, ejecute lo siguiente desde la raíz del repositorio:

 ./generate_docs.sh

Luego navegue por la documentación generada en docs/_build/html .

Atribución

Gobbli no existiría sin el lanzamiento público de varios modelos de última generación. La biblioteca incorpora:

• Bert, lanzado por Google
• MT-DNN, lanzado por Microsoft
• Codador de oraciones universales, lanzado por Google
• FastText, lanzado por Facebook
• Transformers, lanzado por abrazar la cara
• Espacy, por explosión
• lear

El trabajo original en la biblioteca fue financiado por RTI International.

Diseño de logotipo de Marcia Underwood.