applied_nlp_demos

pytorch中的applied_nlp_demos

現代NLP

1. 預處理T5 V1.1：C4數據集代碼上的預訓練T5。與HuggingFace相比，此代碼非常複雜，更可讀性，更真實，並且對Google的實現更加真實。與T5 1.1論文相比，在65,536步中報告1.942損失，單個RTX 4090在使用此代碼的大約18.5小時的培訓中在測試集（2.08）上產生可比的結果（請參見下圖）。在您自己的數據集上進行預處理就像用自己的數據集交換現有Dataset一樣簡單。

2. seq2seq（聊天機器人）：羊駝代碼上的微調flan-t5

3. SEQ2SEQ：使用HuggingFace數據集框架代碼在數據上進行微調Flan-T5

Google/flan-t5大

 input sentence: Given a set of numbers, find the maximum value.
{10, 3, 25, 6, 16}
response: 25

input sentence: Convert from celsius to fahrenheit.
Temperature in Celsius: 15
response: Fahrenheit

input sentence: Arrange the given numbers in ascending order.
2, 4, 0, 8, 3
response: 0, 3, 4, 8

input sentence: What is the capital of France?
response: paris

input sentence: Name two types of desert biomes.
response: sahara

Google/flan-t5-large：在羊駝上進行微調

 input sentence: Given a set of numbers, find the maximum value.
{10, 3, 25, 6, 16}
response: 25

input sentence: Convert from celsius to fahrenheit.
Temperature in Celsius: 15
response: 77

input sentence: Arrange the given numbers in ascending order.
2, 4, 0, 8, 3
response: 0, 2, 3, 4, 8

input sentence: What is the capital of France?
response: Paris

input sentence: Name two types of desert biomes.
response: Desert biomes can be divided into two main types: arid and semi-arid. Arid deserts are characterized by high levels of deforestation, sparse vegetation, and limited water availability. Semi-desert deserts, on the other hand, are relatively dry deserts with little to no vegetation.

傳統NLP

該存儲庫包含使用pytorch和通常擁抱面（變形金剛）的開始到剛開始的數據處理和NLP算法以下模型：

1. 論文：分層注意力網絡Pytorch實現：代碼

2. 論文：Bert Pytorch實施：代碼

3. Bert-CNN合奏。 Pytorch實施：代碼

4. 論文：角色級CNN Pytorch實現：代碼

5. 論文：Distilbert Pytorch實施：代碼

6. DISTILGPT-2。 Pytorch實施：代碼

7. 論文：用於句子分類Pytorch實施的捲積神經網絡：代碼

8. 論文：T5分類Pytorch實施：代碼

9. 論文：T5-Summarization Pytorch實現：代碼

10. 構建語料庫：搜索文本文件。代碼：代碼

11. 論文：海因辛路由割chText實現：代碼

12. 實體嵌入和懶惰加載。代碼：代碼

13. 語義相似性。代碼：代碼

14. 小隊2.0 Bert嵌入pytorch中的排放。代碼：代碼

15. SST-5 BERT嵌入在Pytorch中的排放。代碼：代碼

學分：Hedwig Group在幫助我學習許多這些模型方面發揮了作用。

可以在此處找到NICER-RAMBDOWN輸出：http：//seekinginference.com/nlp/