curated transformers

精选的变压器

最先进的变压器，砖块

策划的变压器是Pytorch的变压器库。它提供了由一组可重复使用的组件组成的最新模型。策展变压器的出色特征是：

• ⚡️支持最先进的变压器模型，包括Falcon，Llama和Dolly V2等LLM。
• ？‍？每个模型都是由一组可重复使用的构件组成的，提供了许多好处：
  • 实施功能或错误将所有模型都受益。例如，所有模型都通过bitsandbytes库支持4/8位推断，并且每个模型都可以使用Pytorch meta设备来避免不必要的分配和初始化。
  • 在库中添加新型号是低功能的。
  • 您想尝试新的变压器体系结构吗？带有旋转嵌入的Bert编码器？您可以捏住它。
• ？所有公共API的一致类型注释：
  • 从您的IDE获得大力的编码支持。
  • 与您现有的类型检查的代码合理地集成。
• ？非常适合教育，因为构建基础易于研究。
• ？最小的依赖性。

策划的变压器已通过爆炸进行了测试，并将用作Spacy 3.7中的默认变压器实现。

？支持的模型体系结构

支持的仅编码模型：

• 阿尔伯特
• 伯特
• 卡门室
• 罗伯塔
• XLM-Roberta

仅支持解码器的模型：

• 鹘
• gpt-neox
• 骆驼1/2
• MPT

发电机包装器：

• 多莉V2
• 鹘
• 骆驼1/2
• MPT

所有类型的型号都可以从HuggingFace Hub加载。

策划变压器的Spacy集成由spacy-curated-transformers软件包提供。

⏳安装

pip install curated-transformers

CUDA支持

Pytorch的默认Linux构建是由CUDA 11.7支持构建的。您应该在以下情况下明确安装CUDA构建：

• 如果您想在Windows上使用策划的变压器。
• 如果您想在Linux上使用ADA生成GPU的策划变压器。标准的Pytorch Build支持ADA GPU，但是通过安装CUDA 11.8支持，您可以通过安装Pytorch来获得可观的性能改进。

在这两种情况下，您都可以使用以下方式安装pytorch

pip install torch --index-url https://download.pytorch.org/whl/cu118

？‍♀️用法示例

>>> import torch
>>> from curated_transformers.generation import AutoGenerator, GreedyGeneratorConfig
>>> generator = AutoGenerator.from_hf_hub( name = " tiiuae/falcon-7b-instruct " , device = torch.device( " cuda " ))
>>> generator([ " What is Python in one sentence? " , " What is Rust in one sentence? " ], GreedyGeneratorConfig())
['Python is a high-level programming language that is easy to learn and widely used for web development, data analysis, and automation.',
 'Rust is a programming language that is designed to be a safe, concurrent, and efficient replacement for C++.']

您可以在文档中找到更多用法示例。您还可以在examples目录中找到使用策划的变压器的示例程序。

文档

您可以在此处阅读有关如何使用策划变压器的更多信息：

• 概述（开发）
• 用法（开发）
• API（开发）

？q量化

curated-transformers通过利用bitsandbytes库来支持模型的动态8位和4位量化。

使用量化变体自动安装必要的依赖项：

pip install curated-transformers[quantization]