distily

먼저

한 명령에서 기존 LLM을 더 작거나 다른 아키텍처로 증류하십시오.

설치하다

 pip install -U "git+https://github.com/lapp0/distily.git"

특징

원격으로 모델을 증류 할 수 있습니다

• 정량화 된 가중치 : 예 : 트릴, 비트 넷
• 독특한 아키텍처 : Mamba, Mixupture-of-Experts (MOE)와 같은 상태 공간 모델
• 수정 된 아키텍처 : 감소 (또는 증가)
  • 레이어 수
  • 주의 헤드와 밀도가 높은 층의 너비와 깊이.
  • 관심의 수와 KV 헤드.

용법

최소 예 : distily_gpt2

6 개의 층만이있는 증류 gpt2 생성하도록 명령 :

 python3 -m distily.run 
    --teacher_model_name_or_path gpt2 
    --output_dir distily_gpt2 
    --hub_model_id "distily/distily_gpt2" 
    --push_to_hub True 
    --student_model_config {"n_layers": 6} 
    --student_model_as_bitnet True

결과적으로 distily_gpt2 모델에는 (Todo : 설명 메트릭)이 있습니다.

더 많은 예를 보려면 예제 문서를 검토하십시오.

허브 자격 증명에 대한 참고 사항

허브로 밀려면 허브 토큰을 준비해야합니다.

 HF_WRITE=<your hub token> python3 -c "from huggingface_hub.hf_api import HfFolder; HfFolder.save_token('${HF_WRITE}')"

추가 독서

TODO : 링크 된 문서를 완료 한 번 커밋하십시오

Distily 사용

• 증류가 작동하는 방법 : 먼 레시피
• QuickStart / 예제
• 매개 변수 선택

사용 가능한 모델

• 공식적인 원위 모델
• 모든 HF 모델은 원위로 생성되었습니다

기여

• 기고 가이드 라인

로드맵

성능 / 샘플링 효율성 향상 :

• 로짓을 사용한 표준 지식 증류.
• 숨겨진 상태 및 관심을 포함한 중간 기능을 사용하여 증류하십시오.
• value-transfer 구현 (q, k, v의 v에서 단순히 증류 손실)
• 합성 데이터 생성을 통해 샘플링 효율을 향상시킵니다.
• 교차 엔트로피 분류 손실 구현 (전통적인 LLM 손실 기능)
• 로이트에 프로젝터를 적용합니다 (https://arxiv.org/pdf/2310.17183)
• "교사 녹음"을 적용하고, 교사 추론을 한 번, 기능 데이터 세트를 여러 번 사용하십시오.

다른 모델 모양 / 크기로 증류 :

• 레이어 매퍼를 구현하여 num_hidden_layers 적은 모델로 증류하십시오.
• 프로젝터를 사용하여 수정 된 모듈 크기 및 동작 (예 : intermediate_size , hidden_act )이있는 모델로 증류하십시오.
• num_attention_heads 및 num_key_value_heads 가있는 모델로 증류하십시오.

다른 아키텍처로 증류하십시오 :

• 비트 넷으로 증류 (B1.58)
• 주 공간 / 맘바에 증류
• Moe에 증류하십시오
• 파라미터 공유 (Albert 스타일) 모델로 증류합니다

추가 기술 :

• 여러 모델에서 한 번에 증류하십시오
• 전정