tf transformers

TensorFlow变形金刚

网站：https：//legacyai.github.io/tf-transformers

TF转换器：Tensorflow 2.0中的更快，更轻松的最新变压器

想象一下自动回归产生的速度更快90倍。 TF-Transformers（Tensorflow Transformers）旨在利用专为基于变压器的体系结构设计的TensorFlow 2的全功率。

这些模型可以应用于：

• 文本，用于文本分类，信息提取，问题回答，摘要，翻译，文本生成等任务，以100多种语言。
• 图像，用于图像分类，对象检测和分割等任务。
• 音频，用于语音识别和音频分类等任务。 （即将推出）

独特的功能

• 更快的自动射击解码
• Tflite支持
• 创建tfrecords很简单。
• 自动批次tf.data.dataset或tf.Ragged Tensor
• 一切都是字典（输入和输出）
• 多种蒙版模式，例如因果，用户定义，前缀。
• TensorFlow-Text Tokenizer支持
• 支持GPU，TPU，带有WANDB的多GPU培训师，多个回调，自动张板

GPT2文本生成的基准

gpt2带有max_length=64 ， num_beams=3 。

 tf_transformers : 31 minutes
huggingface_tf  : 83 minutes
huggingface_pt  : 36 minutes
huggingface_jax : 35 minutes

从83 minutes到31 minutes是一个显着的加速。 92 %加速。平均而言， TF转换器比HuggingFace TensorFlow实现是80-90％的速度，并且在大多数情况下，它比Pytorch是可比或更快的。

可以在基准中找到更多基准

安装

与pip

该存储库在Python 3.7+和Tensorflow 2.7上进行了测试。

推荐的前准则

pip install sentencepiece
pip install tensorflow-text > = 2.7.3
pip install tqdm

根据机器安装tensorflow >= 2.7.0 [CPU or GPU] 。您应该在虚拟环境中安装TF转换器。如果您不熟悉Python虚拟环境，请查看用户指南。

首先，使用您要使用的Python版本创建虚拟环境并激活它。

然后，您将需要至少安装一个张量。请参阅TensorFlow安装页面，有关平台特定安装命令的安装页面。我们强烈建议安装[TensorFlow-Text]（https://www.tensorflow.org/text）。

当安装了这些后端之一时，可以使用PIP安装TF-Transformers，如下所示：

pip install tf-transformers

来自来源

git clone https://github.com/legacyai/tf-transformers.git
pip install poetry
cd tf-transformers
poetry install

快速游览

TF-Transformers API非常简单且极简。

 > >> from tf_transformers . models import GPT2Model
> >> model = GPT2Model . from_pretrained ( 'gpt2' )
> >> model . save_checkpoint ( "/tmp/gpt2_model/" ) # Save Model

对于文本产生，添加非常重要的是：obj： use_auto_regressive=True 。这是所有模型所必需的。

 > >> from tf_transformers . models import GPT2Model
> >> model = GPT2Model . from_pretrained ( 'gpt2' , use_auto_regressive = True )

序列化保存和加载模型

 > >> from tf_transformers . models import GPT2Model
> >> model = GPT2Model . from_pretrained ( 'gpt2' )
> >> model . save_transformers_serialized ( "/tmp/gpt2_serialized/" )

# To load a serialized models for inference in prodcution:

> >> import tensorflow as tf
> >> loaded = tf . saved_model . load ( "/tmp/gpt2_serialized/" )
> >> model  = loaded . signatures [ 'serving_default' ]

模型输入和输出

在TF转换器中，我们主要遵循KERAS的Functional API 。 tf-transformers中的所有模型均已连接并始终具有以下功能。

模型输入

如果tf.keras.Model或tf_transformers.core.LegacyModel ，请使用： print(model.input) 。

如果tf.keras.Layer或tf_transformers.core.LegacyLayer ，请使用： print(model.model_inputs) 。

模型输出

如果tf.keras.Model或tf_transformers.core.LegacyModel ，请使用： print(model.output) 。

如果tf.keras.Layer或tf_transformers.core.LegacyLayer ，请使用： print(model.model_outputs) 。

教程

我们介绍了涵盖预培训，填充，阶级，质量检查，QA，NER的教程。

• 使用TFT读和编写Tfrecords
• 使用阿尔伯特的文本分类
• TPU中的动态MLM（使用TF-Text进行苍蝇预处理）
• 图像分类VIT多GPU镜像
• 使用Quoara在Roberta + Zeroshot STS-B上从头开始嵌入火车
• 使用剪辑及时工程
• 作为一代人的问题回答 - 使用GPT2的小队V1
• 使用T5的代码转换代码转换（codexglue -Java到C＃）

模型用法

• 使用GPT2的文本生成
• 使用T5的文本生成
• 句子变形金刚

Tflite教程

• 阿尔伯特·Tflite
• Bert Tflite
• Roberta Tflite

为什么要使用TF转换器？

1. 在生产中使用最先进的模型，少于10行代码。

   • 高性能模型，比所有基于张力的型号都更好
   • 所有下游任务的非常简单的课程
   • 对所有任务的完整tflite支持。

2. 通过清晰的教程为学生和社区提供基于行业的经验

3. 训练与GPU ， Multi-GPU ， TPU上的任何模型一起使用惊人的tf.keras.Model.fit

   • 用几行代码培训最先进的型号。
   • 所有模型都是完全可序列化的。

4. 自定义任何模型或管道，具有最小或没有代码更改。

研究

该研究部分具有预训练的不同模型的代码，范围为** MLM，T5，CLIP等**。所有这些脚本均设计为利用TensorFlow-IO管道的全功能，并在TPU V2和TPU V3上进行了测试。预期的错误是错误的，但它是从事医生启动或修改我们已经做过的事情的目的。

贡献

Albert联合（有史以来最小，最佳的基于变压器的模型） 。

我们进行了很少的实验来挤压Albert Base模型的功能（概念适用于任何模型，在TF-Transformers中，它是开箱即用的。）

这个想法是最大程度地减少模型每一层中指定任务的损失，并在每一层检查预测。根据我们的实验，我们能够获得最好的较小型号（感谢Albert ），从第4层开始，我们以Glue基准测试了所有较小的型号。到第6层，我们的胶水得分为81.0 ，比蒸馏厂领先4分，胶水得分为77 ，莫菲伯特胶水得分为78 。

Albert模型有1400万个参数，通过使用第6层，我们能够将汇编加快50％的速度加快。

该概念适用于所有模型和任务。

代码 +阅读更多

长块序列变压器

通过将输入序列分为封闭注意力并使用FFN层合并，我们表明，较小的机器将能够在单个V100 GPU机器中执行高达4096个令牌的序列处理。该模型的表现优于Pegasus Base (128 million) PubMed摘要，尽管参数为60 million 。

代码 +阅读更多

支持的模型体系结构

TF-Transformers当前提供以下架构。

1. 阿尔伯特（来自芝加哥的Google Research和Toyota Technological Institute）与纸上：Zhenzhong Lan，Mingda Chen，Sebastian Goodman，Kevin Gimpel，Piyush Sharma，Raduusicut一起发行了Albert：一个用于语言表征的Lite Bert。
2. Bert （来自Google）与Paper Bert发行：雅各布·德夫林（Jacob Devlin），明·韦·张（Ming-Wei Chang），肯顿·李（Kenton Lee）和克里斯蒂娜·托塔诺瓦（Kristina Toutanova）的深度双向变压器的预训练。
3. BERT用于序列生成（从Google）发行，该纸张利用了Sascha Rothe，Shashi Narayan，Aliaksei Severyn的序列生成任务的预培训检查点。
4. Electra （来自Google Research/Stanford University）与Paper Electra发行：培训前文本编码是作为歧视者而不是发电机，由Kevin Clark，Minh-Thang Luong，Quoc V. Luong，Quoc V. Le，Christopher D. Manning。
5. Alec Radford*，Jeffrey Wu*，Rewon Child，David Luan，Dario Amodei **和Ilya Sutskever **的GPT-2 （来自OpenAI）是用纸语言模型发布的。
6. MT5 （来自Google AI）与Paper MT5发布：通过linting Xue，Noah Constant，Adam Roberts，Mihir Kale，Mihir Kale，Rami al-Rfou，Aditya Siddhant，Aditya Barua，Aditya Barua，Aditya Barua，Colin Raffel。
7. 罗伯塔（来自Facebook）与论文一起发行了Yinhan Liu，Myle Ott，Naman Goyal，Jingfei Du，Jingfei DU，Mandar Joshi，Danqi Chen，Danqi Chen，Omer Levy，Mike Levy，Mike Levy，Mike Lewis，Luke Zettlemoyer，Luke Zettlemoyer，Veselin Stoyanov。
8. T5 （来自Google AI）与论文一起发行，探索了Colin Raffel和Noam Shazeer和Adam Roberts以及Adam Roberts以及Katherine Lee和Sharan Narang，Michael Mathen，Michael Matena以及Yanqi Zhou以及Wei Li和Peter J. Liu和Peter J. Liu的统一文本学习的极限。
9. Vision Transformer (ViT) (from Google AI) released with the paper An Image is Worth 16x16 Words: Transformers for Image Recognition at Scale by Alexey Dosovitskiy, Lucas Beyer, Alexander Kolesnikov, Dirk Weissenborn, Xiaohua Zhai, Thomas Unterthiner, Mostafa Dehghani, Matthias Minderer, Georg Heigold, Sylvain Gelly, Jakob USZKOREIT，Neil Houlsby。 10剪辑（来自OpenAI），并从Alec Radford，Jong Wook Kim，Chris Hallacy，Aditya Ramesh，Gabriel Goh，Sandhini Agarwal，Girish Sastry，Amanda Askell，Amanda Askell，Pamela Mishkin，Jack Clark，Jack Clark，Gretchen Krueger，Ilya sutskekeke发行了自然语言监督的可转移视觉模型。

引用

现在，我们有一个页面可以引用TF-Transformers库。