Fine_tune_Anything

인과 언어 모델을위한 미세 조정 저장소

개요?

이 저장소는 PEFT (Pytorch Efficial Fine Tuning) 라이브러리의 힘을 활용하여 인과 관계 모델을 미세 조정하는 도구를 제공합니다. 특정 저장소에 맞게 조정 된 코드 생성을 향상시키기 위해 설계되었습니다.

특징

• 모델 유연성 ? : 인과 관계 모델을로드하십시오.
• 구성 기반 설정 : conf/config.yaml 파일을 통해 모델 선택 및 토큰 화를 쉽게 정의합니다.
• 효율적인 미세 조정 ? ‍♂️ : 현재 PEFT 라이브러리를 통해 LORA (저급 적응)를 사용하고 있습니다. 더 많은 방법이 곧 나옵니다!
• 미래 준비 ? : 교육 및 QA 모델을위한 교육 방법을 계속 지켜봐 주시기 바랍니다.

시작하기?

전제 조건?

• 파이썬 3.x?
• Pytorch
• PEFT 도서관
• requirements.txt 에 나열된 기타 종속성

설치?

1. 저장소 복제 : git clone [repository URL] : git :
2. 데이터 저장을위한 장소 mkdir data 작성하십시오. config.yaml 업데이트하십시오.
3. 필수 패키지 설치 : pip install -r requirements.txt

구성

confconfig.yaml 파일을 조정하여 모델 및 토큰 화 매개 변수를 설정하십시오.

용법

메인 스크립트 ( python main.py )를 실행하여 미세 조정 프로세스를 시작하십시오. 미세 조정 모델은 config.yaml > "최적화" -> result_dir에 지정된 디렉토리에 저장됩니다.

기여?

우리는이 도구를 더욱 효율적이고 기능이 풍부하게 만들기 위해 기여를 환영합니다. 표준 오픈 소스 기부 지침을 준수하십시오.

라이센스?

아파치 라이센스 2.0