How to use Transformers

Transformers는 포옹 페이스로 개발 된 파이썬 라이브러리로, 미리 훈련 된 언어 모델의 대부분을 적재하는 것을 지원합니다. BERT 및 GPT와 같은 모델의 부상으로 점점 더 많은 사용자가 Transformers 라이브러리를 사용하여 자연어 처리 응용 프로그램을 구축하고 있습니다.

이 프로젝트는 "Transformers Library Quick Start"튜토리얼의 코드 저장소이며 코드는 다음과 같이 구성됩니다.

• 데이터 : 중고 데이터 세트를 저장합니다.
• SRC : 샘플 코드를 저장하면 각 작업은 폴더에 해당하며 별도로 다운로드하여 사용할 수 있습니다.

이 튜토리얼은 업데이트 중이며 대형 언어 모델에 점차 관련 컨텐츠를 추가하고 있습니다.

트랜스포머 라이브러리의 빠른 시작

• 1 부 : 배경 지식

  • 1 장 : 자연어 처리
  • 2 장 : 변압기 모델
  • 3 장 :주의 메커니즘

• 2 부 : 변압기와의 첫 만남

  • 4 장 : 상자 밖으로 파이프 라인
  • 5 장 : 모델 및 단어 파티셔너
  • 6 장 : 필요한 파이토치 지식
  • 7 장 : 미리 훈련 된 모델 미세 조정

• 3 부 : 변압기 실용적인 전투

  • 8 장 : 빠른 단어 파티셔너
  • 9 장 : 시퀀스 주석 작업
  • 10 장 : 번역 작업
  • 11 장 : 텍스트 요약 작업
  • 12 장 : 추출 된 Q & A
  • 13 장 : 감정 분석의 프롬프트

• 4 부 : 큰 언어 모델의 시대

  • 14 장 : 큰 언어 모델 기술 소개
  • 15 장 : 대형 언어 모델 사전 훈련
  • 16 장 : 큰 언어 모델 사용
  • 17 장 : 지시 미세 터널 flant5 모델
  • 18 장 : 지시 미세 조정 llama2 모델

샘플 코드

• pairwise_cls_similarity_afqmc : 문장 쌍 분류 작업, 재무 동의어 판단.
• 시퀀스 _labeling_ner_cpd : 시퀀스 라벨링 작업, 엔티티 인식을 지명했습니다.
• seq2seq_translation : seq2seq 작업, 중국어-영어 번역.
• seq2seq_summarization : seq2seq 작업, 텍스트 요약.
• 시퀀스 _labeling_extractiveqa_cmrc : 시퀀스 라벨링 작업, 추출 된 질문 및 답변.
• text_cls_prompt_senti_chnsenticorp : 텍스트 분류 작업, 신속한 감정 분석.

중요한 업데이트

날짜	콘텐츠
2024-07-06	"자연 언어 처리"의 첫 번째 장의 텍스트 표현은 최적화되었고 일부 사진이 추가되었으며 큰 언어 모델에 대한 소개가 추가되었습니다.
2024-07-27	대형 언어 모델의 기술 소개 (14 장에서 16 장)의 예비 초안을 작성하십시오.