flan t5 fine tune DOWNLOAD flan t5 fine tune 소스 코드 다운로드

flan t5 fine tune

AI 소스 코드

1.0.0

다운로드

FLAN-T5 미세 조정

이 프로젝트는 Hugging Face의 Transformers 라이브러리를 사용하여 FLAN-T5 언어 모델을 미세 조정하는 것을 목표로합니다. 이 단계를 수행하면 모델을 미세 조정하고 추론에 사용할 수 있습니다.

전제 조건

시작하기 전에 다음과 같이하십시오.

포옹 얼굴 API 토큰 (HF 토큰)
시스템에 파이썬이 설치되었습니다
CUDA 지원 GPU (훈련 용)

설정

이 저장소를 로컬 컴퓨터로 복제하십시오.

git clone https://github.com/mltrev23/Fine-Tuning-LLaMA-2/

다음 명령을 사용하여 필요한 패키지를 설치하십시오.
```
pip install -r requirements.txt
```

FLAN-T5 미세 조정

이용 가능한 네 가지 미세 조정 방법이 있습니다.

첨가제 미세 조정 : 훈련에 레이어를 추가합니다.
```
python additive-fine-tuning.py
```
완전한 미세 조정 : 모델의 모든 무게를 훈련시킵니다.
```
python full-fine-tuning.py
```
선택적 미세 조정 : 원래 모델의 특정 레이어를 훈련 할 수 있습니다.
```
python selective-fine-tuning.py
```
템플릿 미세 조정 : 교육을 위해 사전 정의 된 템플릿을 사용합니다. 템플릿은 필요에 따라 수정할 수 있습니다.

사용자 정의 데이터 수집

미세 조정을 위해 자신의 데이터를 수집하려면 스크립트의 코드를 수정하여 데이터 세트를로드하십시오. 다음은 텍스트 데이터 세트를로드하는 예입니다.

 from transformers import LineByLineTextDataset

dataset = LineByLineTextDataset ( tokenizer = tokenizer , file_path = 'datasets/bittensor.txt' , block_size = 128 )

추론

미세 조정 된 FLAN-T5 모델을 사용하여 추론을 수행하려면 다음 스크립트를 사용할 수 있습니다.

Forward Pass를 사용하여 생성 :이 스크립트는 Forward Pass 접근법을 사용하여 텍스트를 생성하는 것을 보여줍니다.
```
python generate-using-forward.py
```
주요 추론 스크립트 :이 스크립트는 모델에서 출력을 생성하는 간단한 방법을 제공합니다.
```
python main.py
```