curated transformers

선별 된 변압기

최첨단 변압기, 벽돌로 벽돌

선별 된 변압기는 Pytorch의 변압기 라이브러리입니다. 재사용 가능한 구성 요소 세트로 구성된 최첨단 모델을 제공합니다. 선별 변압기의 눈에 띄는 기능은 다음과 같습니다.

• falcon, Falcon, Llama 및 Dolly V2와 같은 LLM을 포함한 최첨단 변압기 모델을 지원합니다.
• ? ‍? 각 모델은 재사용 가능한 빌딩 블록 세트로 구성되며 많은 이점을 제공합니다.
  • 기능 또는 버그 수정 구현은 모든 모델에 이익이됩니다. 예를 들어, 모든 모델은 bitsandbytes 라이브러리를 통해 4/8 비트 추론을 지원하며 각 모델은 Pytorch meta 장치를 사용하여 불필요한 할당 및 초기화를 피할 수 있습니다.
  • 라이브러리에 새 모델을 추가하는 것은 저 효과입니다.
  • 새로운 변압기 아키텍처를 시도하고 싶습니까? 로터리 임베딩이있는 버트 인코더? 당신은 그것을 꼬집어 만들 수 있습니다.
• ? 모든 공개 API의 일관된 타입 주석 :
  • IDE로부터 훌륭한 코딩 지원을 받으십시오.
  • 기존 유형 확인 코드와 잘 통합됩니다.
• ? 빌딩 블록은 공부하기 쉽기 때문에 교육에 적합합니다.
• ? 최소 의존성.

선별 된 변압기는 폭발로 생산 테스트를 거쳤으며 Spacy 3.7의 기본 변압기 구현으로 사용됩니다.

? 지원되는 모델 아키텍처

지원되는 인코더 전용 모델 :

• 앨버트
• 버트
• 카망베르
• 로베르타
• XLM-Roberta

지원되는 디코더 전용 모델 :

• 매
• gpt-neox
• 라마 1/2
• MPT

발전기 포장지 :

• 돌리 V2
• 매
• 라마 1/2
• MPT

모든 유형의 모델은 Huggingface Hub에서로드 할 수 있습니다.

선별 변압기에 대한 스파크 통합은 spacy-curated-transformers 패키지에 의해 제공됩니다.

⏳ 설치

pip install curated-transformers

CUDA 지원

Pytorch의 기본 Linux 빌드는 Cuda 11.7 지원으로 구축되었습니다. 다음 경우 CUDA 빌드를 명시 적으로 설치해야합니다.

• Windows에서 선별 변압기를 사용하려면.
• ADA 세대 GPU와 함께 Linux에서 선별 변압기를 사용하려면. 표준 Pytorch 빌드는 ADA GPU를 지원하지만 CUDA 11.8 지원으로 Pytorch를 설치하여 상당한 성능 향상을 얻을 수 있습니다.

두 경우 모두 : Pytorch를 다음과 같이 설치할 수 있습니다.

pip install torch --index-url https://download.pytorch.org/whl/cu118

? .️ 사용 예제

>>> import torch
>>> from curated_transformers.generation import AutoGenerator, GreedyGeneratorConfig
>>> generator = AutoGenerator.from_hf_hub( name = " tiiuae/falcon-7b-instruct " , device = torch.device( " cuda " ))
>>> generator([ " What is Python in one sentence? " , " What is Rust in one sentence? " ], GreedyGeneratorConfig())
['Python is a high-level programming language that is easy to learn and widely used for web development, data analysis, and automation.',
 'Rust is a programming language that is designed to be a safe, concurrent, and efficient replacement for C++.']

문서에서 더 많은 사용 예제를 찾을 수 있습니다. examples 디렉토리에서 선별 된 변압기를 사용하는 예제 프로그램을 찾을 수도 있습니다.

선적 서류 비치

선별 변압기를 사용하는 방법에 대한 자세한 내용은 다음을 참조하십시오.

• 개요 (개발)
• 사용법 (개발)
• API (개발)

? ️ Quantization

curated-transformers bitsandbytes 라이브러리를 활용하여 동적 8 비트 및 4 비트 양자화를 지원합니다.

양자화 변형을 사용하여 필요한 종속성을 자동으로 설치하십시오.

pip install curated-transformers[quantization]