CTranslate2ダウンロードCTranslate2ソースコードのダウンロード

CTranslate2

C/C++

CTranslate2 4.5.0

ダウンロード

Ctranslate2

Ctranslate2は、トランスモデルを効率的に推論するためのC ++およびPythonライブラリです。

このプロジェクトは、CPUおよびGPUでの変圧器モデルのメモリ使用量を加速および削減するために、重みの量子化、レイヤー融合、バッチ再注文など、多くのパフォーマンス最適化手法を適用するカスタムランタイムを実装します。

現在、次のモデルタイプがサポートされています。

エンコーダデコーダーモデル：トランスベース/ビッグ、M2M-100、NLLB、BART、MBART、PEGASUS、T5、WHISPER
デコーダーのみのモデル：GPT-2、GPT-J、GPT-NEOX、OPT、BLOOM、MPT、LLAMA、MISTRAL、GEMMA、CODEGEN、GPTBIGCODE、FALCON、QWEN2
エンコーダのみのモデル：Bert、Distilbert、XLM-Roberta

互換性のあるモデルは、最初に最適化されたモデル形式に変換する必要があります。ライブラリには、複数のフレームワーク用のコンバーターが含まれています。

opennmt-py
opennmt-tf
Fairseq
マリアン
Opus-Mt
トランス

このプロジェクトは生産志向であり、後方互換性の保証が付属していますが、モデルの圧縮と推論の加速に関連する実験的機能も含まれています。

重要な機能

CPUおよびGPUでの迅速かつ効率的な実行
実行は大幅に高速であり、多くの高度な最適化のおかげで、サポートされているモデルとタスクに関する汎用の深い学習フレームワークよりも少ないリソースが必要です。
量子化と精度の低下
モデルのシリアル化と計算は、精度を低下させた重量をサポートします：16ビットフローティングポイント（FP16）、16ビット脳浮動点（BF16）、16ビット整数（INT16）、8ビット整数（INT8）、AWQ量子化（INT4）。
複数のCPUアーキテクチャサポート
このプロジェクトは、X86-64およびAARCH64/ARM64プロセッサをサポートし、これらのプラットフォームに最適化された複数のバックエンド（Intel MKL、Onednn、Openblas、Ruy、およびApple Accelerate）を統合します。
自動CPU検出とコードディスパッチ
1つのバイナリには、CPU情報に基づいて実行時に自動的に選択される複数のバックエンド（Intel MKLおよびOneDNNなど）と命令セットアーキテクチャ（AVX、AVX2）を含めることができます。
並列および非同期実行
複数のバッチは、複数のGPUまたはCPUコアを使用して並行して非同期に処理できます。
動的メモリ使用
メモリの使用量は、CPUとGPUの両方のキャッシュアロケーターのおかげで、パフォーマンス要件を満たしている間、リクエストサイズに応じて動的に変化します。
ディスクの軽量
量子化により、デスク上でモデルを4倍小さくすることで、精度損失を最小限に抑えることができます。
簡単な統合
このプロジェクトには依存関係がほとんどなく、PythonとC ++の単純なAPIを公開して、ほとんどの統合ニーズをカバーしています。
構成可能でインタラクティブなデコード
高度なデコード機能により、部分的なシーケンスをオートコンプリートし、シーケンス内の特定の場所で代替案を返すことができます。
分散推論のためのテンソル並列性をサポートします
非常に大きなモデルは複数のGPUに分割できます。このドキュメントに従って、必要な環境を設定します。

これらの機能のいくつかは、標準的なディープラーニングフレームワークで達成することが困難であり、このプロジェクトの動機です。

インストールと使用

Ctranslate2はPIPでインストールできます。

pip install ctranslate2

Pythonモジュールはモデルを変換するために使用され、コードの数行でテキストを翻訳または生成できます。

 translator = ctranslate2 . Translator ( translation_model_path )
translator . translate_batch ( tokens )

generator = ctranslate2 . Generator ( generation_model_path )
generator . generate_batch ( start_tokens )

詳細と例については、ドキュメントを参照してください。

ベンチマーク

en-> deテストセットNewStest2014を複数のモデルで翻訳します。

OpenNMT-TF WMT14：WMT14データセットでOpenNMT-TFでトレーニングされたベーストランス（4.5mライン）
OpenNMT-PY WMT14：WMT14データセット（4.5mライン）でOpenNMT-Pyで訓練されたベーストランス
OPUS-MT：2020-02-26（81.9mライン）で利用可能なすべてのOPUSデータでマリアンで訓練されたベーストランス

ベンチマークは、1秒あたりの生成されたターゲットトークンの数を報告しています（より高い方が優れています）。結果は複数の実行にわたって集約されます。詳細については、ベンチマークスクリプトを参照して、これらの数値を再現してください。

以下に示す結果は、このベンチマーク中に使用される構成に対してのみ有効であることに注意してください。絶対的および相対的なパフォーマンスは、異なる設定で変化する可能性があります。

CPU

	1秒あたりのトークン	マックス。メモリ	ブルー
OpenNMT-TF WMT14モデル
opennmt-tf 2.31.0（Tensorflow 2.11.0を使用）	209.2	2653MB	26.93
opennmt-py wmt14モデル
opennmt-py 3.0.4（pytorch 1.13.1を使用）	275.8	2012MB	26.77
-INT8	323.3	1359MB	26.72
Ctranslate2 3.6.0	658.8	849MB	26.77
-INT16	733.0	672MB	26.82
-INT8	860.2	529MB	26.78
-INT8 + VMAP	1126.2	598MB	26.64
OPUS-MTモデル
トランス4.26.1（Pytorch 1.13.1を使用）	147.3	2332MB	27.90
マリアン1.11.0	344.5	7605MB	27.93
-INT16	330.2	5901MB	27.65
-INT8	355.8	4763MB	27.27
Ctranslate2 3.6.0	525.0	721MB	27.92
-INT16	596.1	660MB	27.53
-INT8	696.1	516MB	27.65

Intel（R）Xeon（R）Platinum 8275Cl CPUを備えたC5.2XLARGE Amazon EC2インスタンスで4つのスレッドで実行されます。

GPU

	1秒あたりのトークン	マックス。 GPUメモリ	マックス。 CPUメモリ	ブルー
OpenNMT-TF WMT14モデル
opennmt-tf 2.31.0（Tensorflow 2.11.0を使用）	1483.5	3031MB	3122MB	26.94
opennmt-py wmt14モデル
opennmt-py 3.0.4（pytorch 1.13.1を使用）	1795.2	2973MB	3099MB	26.77
より速いトランスフォーマー5.3	6979.0	2402MB	1131MB	26.77
-Float16	8592.5	1360MB	1135MB	26.80
Ctranslate2 3.6.0	6634.7	1261MB	953MB	26.77
-INT8	8567.2	1005MB	807MB	26.85
-Float16	10990.7	941MB	807MB	26.77
-INT8 + FLOAT16	8725.4	813MB	800MB	26.83
OPUS-MTモデル
トランス4.26.1（Pytorch 1.13.1を使用）	1022.9	4097MB	2109MB	27.90
マリアン1.11.0	3241.0	3381MB	2156MB	27.92
-Float16	3962.4	3239MB	1976MB	27.94
Ctranslate2 3.6.0	5876.4	1197MB	754MB	27.92
-INT8	7521.9	1005MB	792MB	27.79
-Float16	9296.7	909MB	814MB	27.90
-INT8 + FLOAT16	8362.7	813MB	766MB	27.90