jiant

ACTUALIZACIÓN : A partir de 2021/10/17, el proyecto jiant ya no se mantiene activamente. Esto significa que no habrá planes para agregar nuevos modelos, tareas o características, o actualizar soporte a nuevas bibliotecas.

jiant es un kit de herramientas NLP

El conjunto de herramientas de aprendizaje multitarea y transferencia para la investigación del procesamiento del lenguaje natural

¿Por qué debería usar jiant ?

• jiant admite el aprendizaje multitarea
• jiant admite el aprendizaje de transferencia
• jiant admite más de 50 tareas de comprensión del lenguaje natural
• jiant admite los siguientes puntos de referencia:
  • PEGAMENTO
  • Superpágina
  • Xtreme
• jiant es una biblioteca de investigación y se alienta a los usuarios a extender, cambiar y contribuir a satisfacer sus necesidades!

Algunas cosas adicionales que quizás quieras saber sobre jiant :

• jiant está impulsado por el archivo de configuración
• jiant está construido con Pytorch
• jiant se integra con datasets para administrar datos de tareas
• jiant se integra con transformers para administrar modelos y tokenizadores.

Empezando

• Empiece con algunos ejemplos simples
• Obtenga más información sobre jiant leyendo nuestras guías
• Vea nuestra lista de tareas compatibles

Instalación

Para importar jiant de la fuente (recomendado para investigadores):

git clone https://github.com/nyu-mll/jiant.git
cd jiant
pip install -r requirements.txt

# Add the following to your .bash_rc or .bash_profile 
export PYTHONPATH=/path/to/jiant: $PYTHONPATH

Si planea contribuir a Jiant, instale dependencias adicionales con pip install -r requirements-dev.txt .

Para instalar jiant desde la fuente (alternativa para investigadores):

 git clone https://github.com/nyu-mll/jiant.git
cd jiant
pip install . -e

Para instalar jiant desde PIP (recomendado si solo desea entrenar/usar un modelo):

 pip install jiant

Recomendamos que instale jiant en un entorno virtual o en un entorno de conda.

Para verificar jiant se instaló correctamente, ejecute un ejemplo simple.

Introducción rápida

El siguiente ejemplo ajusta un modelo Roberta en el conjunto de datos MRPC.

Versión de Python:

 from jiant . proj . simple import runscript as run
import jiant . scripts . download_data . runscript as downloader

EXP_DIR = "/path/to/exp"

# Download the Data
downloader . download_data ([ "mrpc" ], f" { EXP_DIR } /tasks" )

# Set up the arguments for the Simple API
args = run . RunConfiguration (
   run_name = "simple" ,
   exp_dir = EXP_DIR ,
   data_dir = f" { EXP_DIR } /tasks" ,
   hf_pretrained_model_name_or_path = "roberta-base" ,
   tasks = "mrpc" ,
   train_batch_size = 16 ,
   num_train_epochs = 3
)

# Run!
run . run_simple ( args )

Versión Bash:

EXP_DIR=/path/to/exp

python jiant/scripts/download_data/runscript.py 
    download 
    --tasks mrpc 
    --output_path ${EXP_DIR} /tasks
python jiant/proj/simple/runscript.py 
    run 
    --run_name simple 
    --exp_dir ${EXP_DIR} / 
    --data_dir ${EXP_DIR} /tasks 
    --hf_pretrained_model_name_or_path roberta-base 
    --tasks mrpc 
    --train_batch_size 16 
    --num_train_epochs 3

Aquí se encuentran ejemplos de flujos de trabajo de capacitación más complejos.

Que contribuye

Las pautas contribuyentes del proyecto jiant se pueden encontrar aquí.

¿Buscando jiant v1.3.2 ?

jiant v1.3.2 ha sido trasladado a Jiant-V1-Legacy para apoyar la investigación en curso con la biblioteca. jiant v2.xx es más modular y escalable que jiant v1.3.2 y ha sido diseñado para reflejar las necesidades de la comunidad actual de investigación de PNL. Recomendamos encarecidamente los nuevos proyectos que usen jiant v2.xx

jiant 1.x se ha utilizado en varios documentos. Para obtener instrucciones sobre cómo reproducir documentos de autores jiant que remiten a los lectores a este sitio para la documentación (incluidas Tenney et al., Wang et al., Bowman et al., Kim et al., Warstadt et al.), Consulte el readme de Jiant-V1-Legacy.

Citación

Si usa jiant ≥ v2.0.0 en trabajo académico, cíquelo directamente:

 @misc{phang2020jiant,
    author = {Jason Phang and Phil Yeres and Jesse Swanson and Haokun Liu and Ian F. Tenney and Phu Mon Htut and Clara Vania and Alex Wang and Samuel R. Bowman},
    title = {texttt{jiant} 2.0: A software toolkit for research on general-purpose text understanding models},
    howpublished = {url{http://jiant.info/}},
    year = {2020}
}

Si usa jiant ≤ v1.3.2 en trabajo académico, utilice la cita que se encuentra aquí.

Expresiones de gratitud

• Este trabajo fue posible en parte por una donación a NYU de Eric y Wendy Schmidt realizado por recomendación del Programa de Futuros Schmidt, y por el apoyo de Intuit Inc.
• Agradecemos el apoyo de NVIDIA Corporation con la donación de una GPU Titan v utilizada en NYU en este trabajo.
• El desarrollador Jesse Swanson es apoyado por el entorno de ciencia de datos de Moore-Sloan como parte de la Iniciativa de Servicios de Ciencia de Datos de la NYU.

Licencia

jiant es liberado bajo la licencia MIT.