jiant

更新：截至2021/10/17，不再积极地维护jiant项目。这意味着将没有计划向新图书馆添加新模型，任务或功能或更新支持。

jiant是NLP工具包

自然语言处理研究的多任务和转移学习工具包

我为什么要使用jiant ？

• jiant支持多任务学习
• jiant支持转移学习
• jiant支持50多种自然语言理解任务
• jiant支持以下基准：
  • 胶水
  • 超级lue
  • Xtreme
• jiant是一个研究图书馆，鼓励用户扩展，更改和为满足他们的需求而做出贡献！

您可能想了解的有关jiant的其他一些事情：

• jiant是配置文件驱动的
• jiant是由Pytorch建造的
• jiant与datasets集集成以管理任务数据
• jiant与transformers集成在一起，以管理模型和引物器。

入门

• 开始一些简单的例子
• 通过阅读我们的指南，了解有关jiant的更多信息
• 请参阅我们的支持任务列表

安装

从来源进口jiant （为研究人员推荐）：

git clone https://github.com/nyu-mll/jiant.git
cd jiant
pip install -r requirements.txt

# Add the following to your .bash_rc or .bash_profile 
export PYTHONPATH=/path/to/jiant: $PYTHONPATH

如果您打算为Jiant做出贡献，请使用pip install -r requirements-dev.txt安装其他依赖关系。

从Source安装jiant （研究人员的替代方案）：

 git clone https://github.com/nyu-mll/jiant.git
cd jiant
pip install . -e

要安装PIP的jiant （建议您只想训练/使用型号）：

 pip install jiant

我们建议您在虚拟环境或CONDA环境中安装jiant 。

要正确安装jiant ，请运行一个简单的示例。

快速介绍

下面的示例微调MRPC数据集上的Roberta模型。

Python版本：

 from jiant . proj . simple import runscript as run
import jiant . scripts . download_data . runscript as downloader

EXP_DIR = "/path/to/exp"

# Download the Data
downloader . download_data ([ "mrpc" ], f" { EXP_DIR } /tasks" )

# Set up the arguments for the Simple API
args = run . RunConfiguration (
   run_name = "simple" ,
   exp_dir = EXP_DIR ,
   data_dir = f" { EXP_DIR } /tasks" ,
   hf_pretrained_model_name_or_path = "roberta-base" ,
   tasks = "mrpc" ,
   train_batch_size = 16 ,
   num_train_epochs = 3
)

# Run!
run . run_simple ( args )

bash版本：

EXP_DIR=/path/to/exp

python jiant/scripts/download_data/runscript.py 
    download 
    --tasks mrpc 
    --output_path ${EXP_DIR} /tasks
python jiant/proj/simple/runscript.py 
    run 
    --run_name simple 
    --exp_dir ${EXP_DIR} / 
    --data_dir ${EXP_DIR} /tasks 
    --hf_pretrained_model_name_or_path roberta-base 
    --tasks mrpc 
    --train_batch_size 16 
    --num_train_epochs 3

这里可以找到更复杂的培训工作流程的示例。

贡献

可以在此处找到jiant项目的贡献指南。

寻找jiant v1.3.2 ？

jiant v1.3.2已转移到Jiant-V1-Legacy，以支持图书馆正在进行的研究。 jiant v2.xx比jiant v1.3.2更模块化和可扩展性，并且旨在反映当前NLP研究社区的需求。我们强烈建议任何新项目都使用jiant v2.xx

jiant 1.x已在几篇论文中使用。有关如何重现jiant作者的论文的说明，这些论文将读者推荐给本网站以获取文档（包括Tenney等，Wang等，Wang等，Bowman等，Kim等，Warstadt等），请参阅Jiant-V1-legacy-legacy Readme。

引用

如果您在学术工作中使用jiant ≥ v2.0.0 ，请直接引用：

 @misc{phang2020jiant,
    author = {Jason Phang and Phil Yeres and Jesse Swanson and Haokun Liu and Ian F. Tenney and Phu Mon Htut and Clara Vania and Alex Wang and Samuel R. Bowman},
    title = {texttt{jiant} 2.0: A software toolkit for research on general-purpose text understanding models},
    howpublished = {url{http://jiant.info/}},
    year = {2020}
}

如果您在学术工作中使用jiant ≤ v1.3.2 ，请使用此处的引用。

致谢

• 这项工作是通过施密特期货计划的建议和Intuit Inc.的支持，部分原因是Eric和Wendy Schmidt向NYU捐款。
• 我们感谢NYU在这项工作中使用的Titan V GPU的捐赠，感谢NVIDIA Corporation的支持。
• 开发人员杰西·斯旺森（Jesse Swanson）得到了摩尔 - 洛恩（Moore-Sloan）数据科学环境的支持，这是纽约大学数据科学服务计划的一部分。

执照

jiant根据MIT许可发布。