applied_nlp_demos

Pytorch의 Applied_nlp_demos

현대 NLP

1. 프리 트레인 T5 v1.1 : C4 데이터 세트 코드에서 T5 사전 트레인 T5. 이 코드는 Huggingf 65,536 단계에서 1.942 손실을보고 한 T5 1.1 논문과 비교하여 단일 RTX 4090은이 코드를 사용하여 약 18.5 시간의 교육에서 테스트 세트 (2.08)에 비슷한 결과를 생성합니다 (아래 이미지 참조). 자신의 데이터 세트에서의 사전 조정은 기존 Dataset 자신의 것으로 바꾸는 것만 큼 간단합니다.

2. Seq2Seq (Chatbot) : Alpaca 코드에서 Flan-T5를 미세 조정합니다

3. seq2seq : Huggingface DataSet 프레임 워크 코드를 사용하여 데이터에 대한 FLAN-T5를 미세 조정

Google/FLAN-T5-LARGE

 input sentence: Given a set of numbers, find the maximum value.
{10, 3, 25, 6, 16}
response: 25

input sentence: Convert from celsius to fahrenheit.
Temperature in Celsius: 15
response: Fahrenheit

input sentence: Arrange the given numbers in ascending order.
2, 4, 0, 8, 3
response: 0, 3, 4, 8

input sentence: What is the capital of France?
response: paris

input sentence: Name two types of desert biomes.
response: sahara

Google/FLAN-T5-LARGE : 알파카에서 미세 조정

 input sentence: Given a set of numbers, find the maximum value.
{10, 3, 25, 6, 16}
response: 25

input sentence: Convert from celsius to fahrenheit.
Temperature in Celsius: 15
response: 77

input sentence: Arrange the given numbers in ascending order.
2, 4, 0, 8, 3
response: 0, 2, 3, 4, 8

input sentence: What is the capital of France?
response: Paris

input sentence: Name two types of desert biomes.
response: Desert biomes can be divided into two main types: arid and semi-arid. Arid deserts are characterized by high levels of deforestation, sparse vegetation, and limited water availability. Semi-desert deserts, on the other hand, are relatively dry deserts with little to no vegetation.

레거시 NLP

이 저장소에는 다음 모델의 경우 Pytorch 및 종종 HuggingFace (Transformers)를 사용하는 시작부터 피난 데이터 처리 및 NLP 알고리즘이 포함되어 있습니다.

1. 논문 : 계층 적주의 네트워크 Pytorch 구현 : 코드

2. 논문 : Bert Pytorch 구현 : 코드

3. 버트 -CNN 앙상블. Pytorch 구현 : 코드

4. 용지 : 문자 수준 CNN Pytorch 구현 : 코드

5. 논문 : Distilbert Pytorch 구현 : 코드

6. distilgpt-2. Pytorch 구현 : 코드

7. 종이 : 문장 분류를위한 컨볼 루션 신경 네트워크 Pytorch 구현 : 코드

8. 논문 : T5-Classification Pytorch 구현 : 코드

9. 논문 : T5-Summarization Pytorch 구현 : 코드

10. 코퍼스 구축 : 검색 텍스트 파일. 코드 : 코드

11. 논문 : Heinsein 라우팅 Torchtext 구현 : 코드

12. 엔티티 임베딩 및 게으른 하중. 코드 : 코드

13. 의미 론적 유사성. 코드 : 코드

14. Pytorch의 Squad 2.0 Bert Embedings 배출. 코드 : 코드

15. Pytorch의 SST-5 Bert 임베딩 배출. 코드 : 코드

크레딧 : Hedwig Group은 이러한 모델을 많이 배우는 데 도움이되었습니다.

더 멋진 r Markdown 출력은 여기에서 찾을 수 있습니다 : http://seekinginference.com/nlp/