curated transformers

精選的變壓器

最先進的變壓器，磚塊

策劃的變壓器是Pytorch的變壓器庫。它提供了由一組可重複使用的組件組成的最新模型。策展變壓器的出色特徵是：

• ⚡️支持最先進的變壓器模型，包括Falcon，Llama和Dolly V2等LLM。
• ？ ‍？每個模型都是由一組可重複使用的構件組成的，提供了許多好處：
  • 實施功能或錯誤將所有模型都受益。例如，所有模型都通過bitsandbytes庫支持4/8位推斷，並且每個模型都可以使用Pytorch meta設備來避免不必要的分配和初始化。
  • 在庫中添加新型號是低功能的。
  • 您想嘗試新的變壓器體系結構嗎？帶有旋轉嵌入的Bert編碼器？您可以捏住它。
• ？所有公共API的一致類型註釋：
  • 從您的IDE獲得大力的編碼支持。
  • 與您現有的類型檢查的代碼合理地集成。
• ？非常適合教育，因為構建基礎易於研究。
• ？最小的依賴性。

策劃的變壓器已通過爆炸進行了測試，並將用作Spacy 3.7中的默認變壓器實現。

？支持的模型體系結構

支持的僅編碼模型：

• 阿爾伯特
• 伯特
• 卡門室
• 羅伯塔
• XLM-Roberta

僅支持解碼器的模型：

• 鶻
• gpt-neox
• 駱駝1/2
• MPT

發電機包裝器：

• 多莉V2
• 鶻
• 駱駝1/2
• MPT

所有類型的型號都可以從HuggingFace Hub加載。

策劃變壓器的Spacy集成由spacy-curated-transformers軟件包提供。

⏳安裝

pip install curated-transformers

CUDA支持

Pytorch的默認Linux構建是由CUDA 11.7支持構建的。您應該在以下情況下明確安裝CUDA構建：

• 如果您想在Windows上使用策劃的變壓器。
• 如果您想在Linux上使用ADA生成GPU的策劃變壓器。標準的Pytorch Build支持ADA GPU，但是通過安裝CUDA 11.8支持，您可以通過安裝Pytorch來獲得可觀的性能改進。

在這兩種情況下，您都可以使用以下方式安裝pytorch

pip install torch --index-url https://download.pytorch.org/whl/cu118

？ ‍♀️用法示例

>>> import torch
>>> from curated_transformers.generation import AutoGenerator, GreedyGeneratorConfig
>>> generator = AutoGenerator.from_hf_hub( name = " tiiuae/falcon-7b-instruct " , device = torch.device( " cuda " ))
>>> generator([ " What is Python in one sentence? " , " What is Rust in one sentence? " ], GreedyGeneratorConfig())
['Python is a high-level programming language that is easy to learn and widely used for web development, data analysis, and automation.',
 'Rust is a programming language that is designed to be a safe, concurrent, and efficient replacement for C++.']

您可以在文檔中找到更多用法示例。您還可以在examples目錄中找到使用策劃的變壓器的示例程序。

文件

您可以在此處閱讀有關如何使用策劃變壓器的更多信息：

• 概述（開發）
• 用法（開發）
• API（開發）

？ q量化

curated-transformers通過利用bitsandbytes庫來支持模型的動態8位和4位量化。

使用量化變體自動安裝必要的依賴項：

pip install curated-transformers[quantization]