CTranslate2 다운로드 CTranslate2 소스 코드 다운로드

CTranslate2

C/C++

CTranslate2 4.5.0

다운로드

ctranslate2

Ctranslate2는 변압기 모델과의 효율적인 추론을위한 C ++ 및 Python 라이브러리입니다.

이 프로젝트는 CPU 및 GPU에서 변압기 모델의 메모리 사용량을 가속화하고 줄이기 위해 가중치 양자화, 계층 융합, 배치 재정렬 등과 같은 많은 성능 최적화 기술을 적용하는 사용자 정의 런타임을 구현합니다.

다음 모델 유형은 현재 지원됩니다.

Encoder-Decoder 모델 : 변압기베이스/Big, M2M-100, Nllb, Bart, Mbart, Pegasus, T5, Whisper
디코더 전용 모델 : GPT-2, GPT-J, GPT-Neox, Opt, Bloom, MPT, Llama, Mistral, Gemma, Codegen, Gptbigcode, Falcon, Qwen2
인코더 전용 모델 : Bert, Distilbert, XLM-Roberta

호환 모델은 먼저 최적화 된 모델 형식으로 변환해야합니다. 라이브러리에는 여러 프레임 워크 용 변환기가 포함되어 있습니다.

Opennmt-Py
Opennmt-tf
페어 세크
마리안
Opus-Mt
변압기

이 프로젝트는 생산 지향적이며 후진 호환성 보증이 제공되지만 모델 압축 및 추론 가속도와 관련된 실험 기능도 포함됩니다.

주요 기능

CPU 및 GPU에서 빠르고 효율적인 실행
층 퓨전, 패딩 제거, 배치 재주문, 내 위치 운영, 캐싱 메커니즘 등 많은 고급 최적화 덕분에 지원되는 모델 및 작업에 대한 일반적인 목적 딥 러닝 프레임 워크보다 실행이 훨씬 빠르며 자원이 적습니다.
양자화 및 감소 된 정밀도
모델 직렬화 및 계산은 정밀도가 감소한 가중치 (16 비트 플로팅 포인트 (FP16), 16 비트 뇌 플로팅 포인트 (BF16), 16 비트 정수 (INT16), 8 비트 정수 (int8) 및 AWQ 양자화 (int4)를 지원합니다.
여러 CPU 아키텍처 지원
이 프로젝트는 X86-64 및 Aarch64/ARM64 프로세서를 지원하며 Intel MKL, OnEdnn, OpenBlas, Ruy 및 Apple Accelerate와 같은 이러한 플랫폼에 최적화 된 여러 백엔드를 통합합니다.
자동 CPU 감지 및 코드 파견
하나의 바이너리에는 CPU 정보를 기반으로 런타임에서 자동으로 선택된 다중 백엔드 (예 : Intel MKL 및 Onednn) 및 명령 세트 아키텍처 (EG AVX, AVX2)가 포함될 수 있습니다.
병렬 및 비동기 실행
다중 GPU 또는 CPU 코어를 사용하여 다중 배치를 병렬로 및 비동기로 처리 할 수 있습니다.
동적 메모리 사용
CPU와 GPU의 할당자를 캐싱 덕분에 여전히 성능 요구 사항을 충족하는 동시에 메모리 사용량이 동적으로 변경됩니다.
디스크의 경량
양자화는 최소한의 정확도 손실로 디스크에서 모델을 4 배 더 작게 만들 수 있습니다.
간단한 통합
이 프로젝트에는 대부분의 통합 요구를 충당하기 위해 Python 및 C ++의 간단한 API를 노출시킵니다.
구성 가능하고 대화식 디코딩
고급 디코딩 기능을 사용하면 부분 순서를 자동 완성하고 시퀀스의 특정 위치에서 대안을 반환 할 수 있습니다.
분산 된 추론에 대한 텐서 병렬 처리를 지원합니다
매우 큰 모델은 여러 GPU로 분할 될 수 있습니다. 필요한 환경을 설정하기 위해이 문서에 따라.

이러한 기능 중 일부는 표준 딥 러닝 프레임 워크로 달성하기가 어렵고이 프로젝트의 동기입니다.

설치 및 사용

ctranslate2는 PIP와 함께 설치할 수 있습니다.

pip install ctranslate2

파이썬 모듈은 모델을 변환하는 데 사용되며 몇 줄의 코드로 텍스트를 번역하거나 생성 할 수 있습니다.

 translator = ctranslate2 . Translator ( translation_model_path )
translator . translate_batch ( tokens )

generator = ctranslate2 . Generator ( generation_model_path )
generator . generate_batch ( start_tokens )

자세한 정보 및 예는 문서를 참조하십시오.

벤치 마크

우리는 En-> de Test Set NewStest2014를 여러 모델로 번역합니다.

OpenNMT-TF WMT14 : WMT14 데이터 세트에서 OpenNMT-TF로 훈련 된베이스 변압기 (4.5m 라인)
Opennmt-Py Wmt14 : WMT14 데이터 세트에서 OpenNMT-PY로 훈련 된베이스 변압기 (4.5m 라인)
OPUS-MT : 2020-02-26에서 이용할 수있는 모든 Opus 데이터에 대해 Marian과 함께 훈련 된 기본 변압기 (81.9m 라인)

벤치 마크는 초당 생성 된 대상 토큰의 수를보고합니다 (높음이 높음). 결과는 여러 실행에 걸쳐 집계됩니다. 자세한 내용은 벤치 마크 스크립트를 참조 하고이 숫자를 재현하십시오.

아래에 제시된 결과는이 벤치 마크에서 사용 된 구성에만 유효합니다. 절대 및 상대 성능은 다른 설정에 따라 변경 될 수 있습니다.

CPU

	초당 토큰	맥스. 메모리	블루
OpenNMT-TF WMT14 모델
OpenNMT-TF 2.31.0 (Tensorflow 2.11.0)	209.2	2653MB	26.93
Opennmt-Py Wmt14 모델
Opennmt-Py 3.0.4 (Pytorch 1.13.1 포함)	275.8	2012MB	26.77
- int8	323.3	1359MB	26.72
ctranslate2 3.6.0	658.8	849MB	26.77
-INT16	733.0	672MB	26.82
- int8	860.2	529MB	26.78
-INT8 + VMAP	1126.2	598MB	26.64
OPUS-MT 모델
트랜스포머 4.26.1 (Pytorch 1.13.1 포함)	147.3	2332MB	27.90
마리안 1.11.0	344.5	7605MB	27.93
-INT16	330.2	5901MB	27.65
- int8	355.8	4763MB	27.27
ctranslate2 3.6.0	525.0	721MB	27.92
-INT16	596.1	660MB	27.53
- int8	696.1	516MB	27.65

인텔 (R) Xeon (R) Platinum 8275CL CPU가 장착 된 C5.2xlarge Amazon EC2 인스턴스에서 4 개의 스레드로 실행됩니다.

GPU

	초당 토큰	맥스. GPU 메모리	맥스. CPU 메모리	블루
OpenNMT-TF WMT14 모델
OpenNMT-TF 2.31.0 (Tensorflow 2.11.0)	1483.5	3031MB	3122MB	26.94
Opennmt-Py Wmt14 모델
Opennmt-Py 3.0.4 (Pytorch 1.13.1 포함)	1795.2	2973MB	3099MB	26.77
더 빠른 전환기 5.3	6979.0	2402MB	1131MB	26.77
- float16	8592.5	1360MB	1135MB	26.80
ctranslate2 3.6.0	6634.7	1261MB	953MB	26.77
- int8	8567.2	1005MB	807MB	26.85
- float16	10990.7	941MB	807MB	26.77
-t8 + float16	8725.4	813MB	800MB	26.83
OPUS-MT 모델
트랜스포머 4.26.1 (Pytorch 1.13.1 포함)	1022.9	4097MB	2109MB	27.90
마리안 1.11.0	3241.0	3381MB	2156MB	27.92
- float16	3962.4	3239MB	1976MB	27.94
ctranslate2 3.6.0	5876.4	1197MB	754MB	27.92
- int8	7521.9	1005MB	792MB	27.79
- float16	9296.7	909MB	814MB	27.90
-t8 + float16	8362.7	813MB	766MB	27.90