transformers tutorials
1.0.0
NLP 분야는 2018 년 Bert 와 그의 변압기 친구 (Roberta, XLM 등)를 도입하여 혁명을 일으켰습니다.
이 새로운 변압기 기반 신경망 아키텍처 및 자연 언어 데이터에 대한 신경망을 훈련시키는 새로운 방법은 NLP 문제에 대한 전송 학습을 도입했습니다. 전송 학습은 현재 몇 년 동안 컴퓨터 비전 도메인에서 최첨단 예술 결과를 제공했으며 NLP에 대한 변압기 모델의 도입은 NLP에서 동일한 패러다임 변화를 가져 왔습니다.
Google 및 Facebook과 같은 회사는 자연 언어 데이터의 대규모 스웨트에 대해 신경망을 훈련시켜 언어의 복잡성을 파악하여 언어 모델을 생성합니다. 마지막으로 이러한 모델은 특정 문제 설명에 대한 최첨단 결과를 달성하기 위해 특정 도메인 데이터 세트로 미세 조정되었습니다. 그들은 또한이 훈련 된 모델을 오픈 소스 커뮤니티에 출판했습니다. 커뮤니티 회원들은 이제 이러한 모델을 특정 사용 사례에 미세 조정할 수있었습니다.
Hugging Face는 커뮤니티가 파이썬 패키지 인 Transformers를 사용하여 이러한 모델에 쉽게 액세스하고 미세 조정할 수 있도록했습니다.
이러한 놀라운 기술 발전에도 불구하고 이러한 솔루션을 비즈니스 문제에 적용하는 것은 여전히 특정 문제 진술에 이러한 방법을 이해하고 적용하는 데 필요한 틈새 지식을 감안할 때 여전히 어려운 일입니다. 따라서 다음 자습서에서는 사용자가 다른 Python 도구와 함께 기술을 활용하여 이러한 언어 모델을 특정 유형의 작업에 미세 조정하는 방법을 보여줍니다.
진행하기 전에 나는 그들이하고있는 환상적인 작업과 공유에 대한 다음 그룹에 대해 언급하고 싶습니다.
이 놀라운 정보 소스를 검토하고 채널/소스를 구독하십시오.
내가 함께 할 문제 진술은 다음과 같습니다.
| 공책 | Github 링크 | Colab 링크 | Kaggle 커널 |
|---|---|---|---|
| 텍스트 분류 : 멀티 클래스 | github | Kaggle | |
| 텍스트 분류 : 다중 표지 | github | Kaggle | |
| WANDB에서 실험 추적으로 감정 분류! | github | ||
| 지명 된 엔티티 인식 : TPU 처리와 함께! | github | Kaggle | |
| 질문 대답 | |||
| 요약 쓰기 : Wandb의 실험 추적과 함께! | github | Kaggle |
data :이 폴더에는 미세 조정에 사용되는 모든 장난감 데이터가 포함되어 있습니다.utils :이 폴더에는 미세 조정을 준비하는 데 사용되는 기타 스크립트가 포함됩니다.models : 모든 아티팩트를 저장하는 폴더 미세 조정 후.다양한 NLP 작업에서 이러한 언어 모델의 미세 조정의 실용적이고 구현 측면을 다루려고 노력할 것입니다. 다음 리소스를 읽거나 시청 하여이 주제에 대한 지식을 향상시킬 수 있습니다.
보고 있다
독서
