curated transformers

キュレーションされた変圧器

最先端の変圧器、レンガによるレンガ

キュレーションされた変圧器は、Pytorchのトランスライブラリです。再利用可能なコンポーネントのセットから構成される最先端のモデルを提供します。キュレーションされた変圧器の傑出した機能は次のとおりです。

• halcon、llama、Dolly V2などのLLMを含む最先端のトランスモデルをサポートしています。
• ？‍？各モデルは、再利用可能なビルディングブロックのセットから構成されており、多くの利点を提供します。
  • 機能またはbugfixの実装は、すべてのモデルに役立ちます。たとえば、すべてのモデルは、 bitsandbytesライブラリを介した4/8ビットの推論をサポートし、各モデルはPytorch metaデバイスを使用して、不必要な割り当てと初期化を回避できます。
  • ライブラリに新しいモデルを追加すると低エフォルトです。
  • 新しい変圧器アーキテクチャを試してみませんか？ロータリー埋め込みを備えたバートエンコーダー？ピンチで作ることができます。
• ？すべてのパブリックAPIの一貫したタイプアノテーション：
  • IDEから優れたコーディングサポートを取得します。
  • 既存のタイプチェックコードとうまく統合します。
• ？ビルディングブロックは勉強しやすいため、教育に最適です。
• ？最小限の依存関係。

キュレーションされた変圧器は爆発によって生産テストされており、Spacy 3.7のデフォルトの変圧器の実装として使用されます。

？サポートされているモデルアーキテクチャ

サポートされているエンコーダーのみモデル：

• アルバート
• バート
• カマンベール
• ロベルタ
• xlm-roberta

サポートされているデコーダーのみのモデル：

• ファルコン
• gpt-neox
• ラマ1/2
• MPT

ジェネレーターラッパー：

• ドリーV2
• ファルコン
• ラマ1/2
• MPT

あらゆる種類のモデルは、Huggingfaceハブからロードできます。

キュレーションされた変圧器のスペイシー統合はspacy-curated-transformersパッケージによって提供されます。

installインストール

pip install curated-transformers

CUDAサポート

PytorchのデフォルトのLinuxビルドは、CUDA 11.7サポートで構築されています。次の場合には、CUDAビルドを明示的にインストールする必要があります。

• Windowsでキュレーションされたトランスを使用する場合。
• ADAジェネレーションGPUを使用してLinuxでキュレーションされた変圧器を使用する場合。標準のPytorchビルドはAda GPUをサポートしていますが、Cuda 11.8サポートを備えたPytorchをインストールすることで、かなりのパフォーマンスの改善を得ることができます。

どちらの場合も、Pytorchを次のようにインストールできます。

pip install torch --index-url https://download.pytorch.org/whl/cu118

？‍♀ ‍♀️使用例

>>> import torch
>>> from curated_transformers.generation import AutoGenerator, GreedyGeneratorConfig
>>> generator = AutoGenerator.from_hf_hub( name = " tiiuae/falcon-7b-instruct " , device = torch.device( " cuda " ))
>>> generator([ " What is Python in one sentence? " , " What is Rust in one sentence? " ], GreedyGeneratorConfig())
['Python is a high-level programming language that is easy to learn and widely used for web development, data analysis, and automation.',
 'Rust is a programming language that is designed to be a safe, concurrent, and efficient replacement for C++.']

ドキュメントでは、より多くの使用例を見つけることができます。また、 examplesディレクトリにキュレーションされた変圧器を使用するプログラムのサンプルを見つけることもできます。

ドキュメント

キュレーションされた変圧器の使用方法については、こちらをご覧ください。

• 概要（開発）
• 使用法（開発）
• API（開発）

？ショ和量の量子化

curated-transformers bitsandbytesライブラリを活用することにより、モデルの動的な8ビットおよび4ビットの量子化をサポートします。

量子化バリアントを使用して、必要な依存関係を自動的にインストールします。

pip install curated-transformers[quantization]