tf transformers

TensorFlow變形金剛

網站：https：//legacyai.github.io/tf-transformers

TF轉換器：Tensorflow 2.0中的更快，更輕鬆的最新變壓器

想像一下自動回歸產生的速度更快90倍。 TF-Transformers（Tensorflow Transformers）旨在利用專為基於變壓器的體系結構設計的TensorFlow 2的全功率。

這些模型可以應用於：

• 文本，用於文本分類，信息提取，問題回答，摘要，翻譯，文本生成等任務，以100多種語言。
• 圖像，用於圖像分類，對象檢測和分割等任務。
• 音頻，用於語音識別和音頻分類等任務。 （即將推出）

獨特的功能

• 更快的自動射擊解碼
• Tflite支持
• 創建tfrecords很簡單。
• 自動批次tf.data.dataset或tf.Ragged Tensor
• 一切都是字典（輸入和輸出）
• 多種蒙版模式，例如因果，用戶定義，前綴。
• TensorFlow-Text Tokenizer支持
• 支持GPU，TPU，帶有WANDB的多GPU培訓師，多個回調，自動張板

GPT2文本生成的基準

gpt2帶有max_length=64 ， num_beams=3 。

 tf_transformers : 31 minutes
huggingface_tf  : 83 minutes
huggingface_pt  : 36 minutes
huggingface_jax : 35 minutes

從83 minutes到31 minutes是一個顯著的加速。 92 %加速。平均而言， TF轉換器比HuggingFace TensorFlow實現是80-90％的速度，並且在大多數情況下，它比Pytorch是可比或更快的。

可以在基準中找到更多基準

安裝

與pip

該存儲庫在Python 3.7+和Tensorflow 2.7上進行了測試。

推薦的前準則

pip install sentencepiece
pip install tensorflow-text > = 2.7.3
pip install tqdm

根據機器安裝tensorflow >= 2.7.0 [CPU or GPU] 。您應該在虛擬環境中安裝TF轉換器。如果您不熟悉Python虛擬環境，請查看用戶指南。

首先，使用您要使用的Python版本創建虛擬環境並激活它。

然後，您將需要至少安裝一個張量。請參閱TensorFlow安裝頁面，有關平台特定安裝命令的安裝頁面。我們強烈建議安裝[TensorFlow-Text]（https://www.tensorflow.org/text）。

當安裝了這些後端之一時，可以使用PIP安裝TF-Transformers，如下所示：

pip install tf-transformers

來自來源

git clone https://github.com/legacyai/tf-transformers.git
pip install poetry
cd tf-transformers
poetry install

快速遊覽

TF-Transformers API非常簡單且極簡。

 > >> from tf_transformers . models import GPT2Model
> >> model = GPT2Model . from_pretrained ( 'gpt2' )
> >> model . save_checkpoint ( "/tmp/gpt2_model/" ) # Save Model

對於文本產生，添加非常重要的是：obj： use_auto_regressive=True 。這是所有模型所必需的。

 > >> from tf_transformers . models import GPT2Model
> >> model = GPT2Model . from_pretrained ( 'gpt2' , use_auto_regressive = True )

序列化保存和加載模型

 > >> from tf_transformers . models import GPT2Model
> >> model = GPT2Model . from_pretrained ( 'gpt2' )
> >> model . save_transformers_serialized ( "/tmp/gpt2_serialized/" )

# To load a serialized models for inference in prodcution:

> >> import tensorflow as tf
> >> loaded = tf . saved_model . load ( "/tmp/gpt2_serialized/" )
> >> model  = loaded . signatures [ 'serving_default' ]

模型輸入和輸出

在TF轉換器中，我們主要遵循KERAS的Functional API 。 tf-transformers中的所有模型均已連接並始終具有以下功能。

模型輸入

如果tf.keras.Model或tf_transformers.core.LegacyModel ，請使用： print(model.input) 。

如果tf.keras.Layer或tf_transformers.core.LegacyLayer ，請使用： print(model.model_inputs) 。

模型輸出

如果tf.keras.Model或tf_transformers.core.LegacyModel ，請使用： print(model.output) 。

如果tf.keras.Layer或tf_transformers.core.LegacyLayer ，請使用： print(model.model_outputs) 。

教程

我們介紹了涵蓋預培訓，填充，階級，質量檢查，QA，NER的教程。

• 使用TFT讀和編寫Tfrecords
• 使用阿爾伯特的文本分類
• TPU中的動態MLM（使用TF-Text進行蒼蠅預處理）
• 圖像分類VIT多GPU鏡像
• 使用Quoara在Roberta + Zeroshot STS-B上從頭開始嵌入火車
• 使用剪輯及時工程
• 作為一代人的問題回答 - 使用GPT2的小隊V1
• 使用T5的代碼轉換代碼轉換（codexglue -Java到C＃）

模型用法

• 使用GPT2的文本生成
• 使用T5的文本生成
• 句子變形金剛

Tflite教程

• 阿爾伯特·Tflite
• Bert Tflite
• Roberta Tflite

為什麼要使用TF轉換器？

1. 在生產中使用最先進的模型，少於10行代碼。

   • 高性能模型，比所有基於張力的型號都更好
   • 所有下游任務的非常簡單的課程
   • 對所有任務的完整tflite支持。

2. 通過清晰的教程為學生和社區提供基於行業的經驗

3. 訓練與GPU ， Multi-GPU ， TPU上的任何模型一起使用驚人的tf.keras.Model.fit

   • 用幾行代碼培訓最先進的型號。
   • 所有模型都是完全可序列化的。

4. 自定義任何模型或管道，具有最小或沒有代碼更改。

研究

該研究部分具有預訓練的不同模型的代碼，範圍為** MLM，T5，CLIP等**。所有這些腳本均設計為利用TensorFlow-IO管道的全功能，並在TPU V2和TPU V3上進行了測試。預期的錯誤是錯誤的，但它是從事醫生啟動或修改我們已經做過的事情的目的。

貢獻

Albert聯合（有史以來最小，最佳的基於變壓器的模型） 。

我們進行了很少的實驗來擠壓Albert Base模型的功能（概念適用於任何模型，在TF-Transformers中，它是開箱即用的。）

這個想法是最大程度地減少模型每一層中指定任務的損失，並在每一層檢查預測。根據我們的實驗，我們能夠獲得最好的較小型號（感謝Albert ），從第4層開始，我們以Glue基準測試了所有較小的型號。到第6層，我們的膠水得分為81.0 ，比蒸餾廠領先4分，膠水得分為77 ，莫菲伯特膠水得分為78 。

Albert模型有1400萬個參數，通過使用第6層，我們能夠將彙編加快50％的速度加快。

該概念適用於所有模型和任務。

代碼 +閱讀更多

長塊序列變壓器

通過將輸入序列分為封閉注意力並使用FFN層合併，我們表明，較小的機器將能夠在單個V100 GPU機器中執行高達4096個令牌的序列處理。該模型的表現優於Pegasus Base (128 million) PubMed摘要，儘管參數為60 million 。

代碼 +閱讀更多

支持的模型體系結構

TF-Transformers當前提供以下架構。

1. 阿爾伯特（來自芝加哥的Google Research和Toyota Technological Institute）與紙上：Zhenzhong Lan，Mingda Chen，Sebastian Goodman，Kevin Gimpel，Piyush Sharma，Raduusicut一起發行了Albert：一個用於語言表徵的Lite Bert。
2. Bert （來自Google）與Paper Bert發行：雅各布·德夫林（Jacob Devlin），明·韋·張（Ming-Wei Chang），肯頓·李（Kenton Lee）和克里斯蒂娜·托塔諾瓦（Kristina Toutanova）的深度雙向變壓器的預訓練。
3. BERT用於序列生成（從Google）發行，該紙張利用了Sascha Rothe，Shashi Narayan，Aliaksei Severyn的序列生成任務的預培訓檢查點。
4. Electra （來自Google Research/Stanford University）與Paper Electra發行：培訓前文本編碼是作為歧視者而不是發電機，由Kevin Clark，Minh-Thang Luong，Quoc V. Luong，Quoc V. Le，Christopher D. Manning。
5. Alec Radford*，Jeffrey Wu*，Rewon Child，David Luan，Dario Amodei **和Ilya Sutskever **的GPT-2 （來自OpenAI）是用紙語言模型發布的。
6. MT5 （來自Google AI）與Paper MT5發布：通過linting Xue，Noah Constant，Adam Roberts，Mihir Kale，Mihir Kale，Rami al-Rfou，Aditya Siddhant，Aditya Barua，Aditya Barua，Aditya Barua，Colin Raffel。
7. 羅伯塔（來自Facebook）與論文一起發行了Yinhan Liu，Myle Ott，Naman Goyal，Jingfei Du，Jingfei DU，Mandar Joshi，Danqi Chen，Danqi Chen，Omer Levy，Mike Levy，Mike Levy，Mike Lewis，Luke Zettlemoyer，Luke Zettlemoyer，Veselin Stoyanov。
8. T5 （來自Google AI）與論文一起發行，探索了Colin Raffel和Noam Shazeer和Adam Roberts以及Adam Roberts以及Katherine Lee和Sharan Narang，Michael Mathen，Michael Matena以及Yanqi Zhou以及Wei Li和Peter J. Liu和Peter J. Liu的統一文本學習的極限。
9. Vision Transformer (ViT) (from Google AI) released with the paper An Image is Worth 16x16 Words: Transformers for Image Recognition at Scale by Alexey Dosovitskiy, Lucas Beyer, Alexander Kolesnikov, Dirk Weissenborn, Xiaohua Zhai, Thomas Unterthiner, Mostafa Dehghani, Matthias Minderer, Georg Heigold, Sylvain Gelly, Jakob USZKOREIT，Neil Houlsby。 10剪輯（來自OpenAI），並從Alec Radford，Jong Wook Kim，Chris Hallacy，Aditya Ramesh，Gabriel Goh，Sandhini Agarwal，Girish Sastry，Amanda Askell，Amanda Askell，Pamela Mishkin，Jack Clark，Jack Clark，Gretchen Krueger，Ilya sutskekeke發行了自然語言監督的可轉移視覺模型。

引用

現在，我們有一個頁面可以引用TF-Transformers庫。