Transformers for NLP 2nd Edition

NLP-2nd-edition- 변압기

© Copyright 2022-2024, Denis Rothman, Packt Publishing

마지막 업데이트 : 2024 년 1 월 4 일

돌고래? OpenAi ChatGpt (GPT-3.5 레거시), ChatGpt Plus (GPT-3.5 기본값, GPT 3.5 기본값 및 GPT-4)에 대한 추가 보너스 프로그램.
GPT-3.5-Turbo, GPT-4, Dall-E 2, Google Cloud AI Language 및 Google Cloud AI Vision의 API 예제.
HuggingGpt, Google Smart Compose, Google Bard 및 Microsoft의 새로운 Bing을 발견하십시오.
ChatGpt API 및 GPT-4 API를 통한 고급 프롬프트 엔지니어링.

돌고래를 찾으시겠습니까? 그리고 AI의 미래로의 타는 것을 즐기십시오!

LinkedIn에서 저에게 연락하십시오
아마존에서 책을 얻으십시오

Bert에서 GPT-4까지의 변압기 모델, 포옹에서 Openai에 이르기까지 환경. 미세 조정, 교육 및 신속한 엔지니어링 사례. Chatgpt, GPT-3.5-Turbo, GPT-4 및 DALL-E와의 보너스 섹션, 점프 시작 GPT-4, 음성-텍스트, 텍스트 음주, Dall-E와 함께 텍스트 투 이미지 생성을 포함한 Dall-E와의 보너스 섹션.

시작하기

Google Colab 또는 로컬 컴퓨터와 같은 클라우드 플랫폼 에서이 노트북을 실행할 수 있습니다. 일부 장에서는 합리적인 시간 안에 GPU를 실행해야하므로 CUDA와 함께 사전 설치할 때 클라우드 플랫폼 중 하나를 권장합니다.

OpenAI API로 시작합니다

2023 년 12 월 6 일. OpenAi는 현재 플랫폼을 업데이트하고 있습니다. 이 저장소의 노트북에 문제가 발생하면 다음 팁을 구현할 수 있습니다.

• 201224 년 1 월 4 일 현재, OpenAi 감가 상징이 'Davinci'에 적용됩니다. 권장 대체품은 'Davinci-002'입니다.
• Google Colab : Cohere (언어 기능) 및 Tiktoken (BPE Tokenizer)은 OpenAI를 설치하는 데 필요합니다 (! PIP 설치 TIKTOKN 및! PIP 설치 -업그레이드 코셔)
• API 호출은 "OpenAi.comPletion.create"에서 "client.chat.comPletions.create"로 변경된 클라이언트 = [OpenAI Client]로 변경되었습니다.
• API 호출은 엔진 = [모델 이름]에서 model = [모델 이름]으로 변경되었습니다.
• 응답 객체가 진화하고 있습니다. 권장 사항 : 먼저 "응답"을 인쇄 한 다음 개체를 분석하여 필요한 것에 액세스하십시오.
• 문제가 지속되면 이전 OpenAi 버전을 고정하려고 시도 할 수 있습니다.! PIP 설치 OpenAi == 0.28

필요한 경우 다른 노트북에 신청할 수있는 다음 노트북에서 이러한 업데이트 팁의 예를 찾을 수 있습니다 : -getting_started_gpt_3.ipynb), summarizing_with_chatgpt.ipynb 및 semantic_role_labeling_with_chatgpt.ipynb

클라우드 플랫폼 또는 환경에서 실행됩니다

클라우드 플랫폼 에서이 노트북을 실행하려면 아래 표의 배지 중 하나를 클릭하거나 환경에서 실행하십시오.

장	콜랩	Kaggle	구배	Studiolab
2 장 : 변압기 모델의 아키텍처 시작
multi_head_attention_sub_layer.ipynb positional_encoding.ipynb
3 장 : 미세 조정 버트 모델
bert_fine_tuning_sentence_classification_gpu.ipynb
4 장 : Roberta 모델을 처음부터 사전으로 예방합니다
Roberta 모델을 처음부터 사전으로 전제합니다 Kantaibert.ipynb
5 장 : 변압기가있는 다운 스트림 NLP 작업
Transformer_tasks.ipynb
6 장 변압기를 사용한 기계 번역
trax_translation.ipynb
7 장 : GPT-3 엔진이있는 Suprahuman Transformers의 상승
get_started_gpt_3.ipynb fine_tuning_gpt_3 (01/2024 년에 새로운 오픈 나이 통화로 업데이트)
8 장 : AI 텍스트 요약을위한 법적 및 재무 문서에 변압기 적용
요약 _text_with_t5.ipynb
9 장 : 토 케이너 및 데이터 세트 일치
Tokenizers.ipynb Training_openai_gpt_2_ch09.ipynb 요약 _with_chatgpt.ipynb
10 장 : 의미 론적 역할 라벨링
srl.ipynb semantic_role_labeling_with_chatgpt.ipynb
11 장 : 데이터를 말하면 이야기, 질문 및 답변
qa.ipynb haystack_qa_pipeline.ipynb
12 장 예측을 위해 고객 감정을 탐지합니다
Sententanalysis.ipynb
13 장 : 변압기로 가짜 뉴스 분석
가짜_news.ipynb 가짜_news_analysis_with_chatgpt.ipynb
14 장 : 블랙 박스 변압기 모델 해석
bertviz.ipynb incriendry_gpt_2_models_with_ecco.ipynb
15 장 : NLP에서 태스크 공수 변압기 모델로
Vision_Transformers.ipynb dall_e.ipynb
16 장 : 변압기 중심 필로 트의 출현
Domain_specific_gpt_3_functionality.ipynb Kantaibert_recommender.ipynb Vision_MLP_MIXER (Q1-2024의 불안정한 새 코드) compact_convolutional_transformers.ipynb
17 장 :? Openai Chatgpt 및 GPT-4를 갖춘 Suprahuman 변압기의 통합
jump_starting_chatgpt_with_the_openai_api.ipynb chatgpt_plus_writes_and_explains_classification.ipynb get_started_openai_gpt_4.ipynb promp_engineering_as_an_An_Alternative_to_fine_tuning.ipynb get_started_with_the_dall_e_2_api.ipynb speaking_with_chatgpt.ipynb all_in_one.ipynb
부록 III : GPT-2를 사용한 일반 텍스트 완료
Openai_gpt_2.ipynb
부록 IV : GPT-2를 사용한 사용자 정의 텍스트 완료
Training_Openai_gpt_2.ipynb

추가 Openai 보너스 노트북

보너스	콜랩	Kaggle	구배	Sagemaker Studio Lab
? Chatgpt, GPT-4 및 GPT-3 모델을 탐색하고 비교하십시오
Exploring_gpt_4_api
? Chatgpt 및 Xai Shap 함수를 설명하는 chatgpt xai 함수 만들기
XAI_BY_CHATGPT_FOR_CHATGPT
? GPT-2 및 Chatgpt와 함께 기원으로 돌아갑니다
gpt_2_and_chatgpt_the_origins
? chatgpt 또는 davinin_instruct? 프로젝트에 가장 적합한 것은 무엇입니까?
chatgpt_as_a_a_cobot_chatgpt_versus_davinci_instruct.ipynb
? AI 언어 모델 비교 이 포괄적 인 노트북을 통해 다양한 AI 언어 모델과 그 기능을 설명하십시오. -감정 분석, 엔티티 인식, 구문 분석, 컨텐츠 분류 및 AI 비전과 같은 다양한 API 및 기능으로 구성됩니다. -Google Cloud AI 언어, Google Cloud AI Vision, Openai GPT-4, Google Bard, Microsoft New Bing, Chatgpt Plus-GPT-4, Hugging Face, HuggingGpt 및 Google Smart Compose의 오퍼링을 제공하고 비교하십시오.
2023 년 12 월 6 일 업데이트 : 최신 Gradio 버전에서 입력 정의 방법이 업데이트되었습니다. 사용하는 대신
gr.inputs.Textbox , 이제 입력 및 출력에 직접 gr.Textbox 사용하십시오.
Exploring_and_comparing_advanced_ai_technologies.ipynb

주요 기능

Bert, Reformer 및 T5와 같은 모델을 구현하여 고전적인 언어 모델을 능가합니다.
GPT-3, GPT-2 및 기타 변압기를 사용하여 NLP 응용 프로그램을 비교하십시오
다국어, 언어 학습 및 컴퓨터 비전을 포함한 고급 사용 사례를 분석하십시오. SOA Chatgpt, GPT-3.5-Turbo, GPT-4 및 Dall-E 노트북이 포함 된 Github 보너스 디렉토리.

서적 설명

트랜스포머는 자연어 이해 (NLU)의 게임 체인저이며 인공 지능의 기둥 중 하나가되었습니다.

자연 언어 처리를위한 변압기, 2 판은 기계 번역, 언어 모델링, 질문 응답 및 변압기가있는 더 많은 NLP 도메인에 대한 딥 러닝을 조사합니다.

업계 4.0 AI 전문가는 적응할 수 있어야합니다. 하나의 NLP 플랫폼 만 아는 것만으로는 더 이상 충분하지 않습니다. 플랫폼마다 비용, 유연성, 구현 용이성, 결과 또는 성능 등 애플리케이션에 따라 다른 이점이 있습니다. 이 책에서는 Hugging Face, Google Trax, OpenAi 및 Allennlp로 수많은 사용 사례를 분석합니다.

이 책은 감정 분석, 지명 된 엔티티 인식 및 시맨틱 역할 라벨링과 같은 여러 NLP 기술을 결합하여 트랜스포머의 기능을 더욱 발전시켜 트위터에서 가짜 뉴스를 해부하는 것과 같은 복잡한 사용 사례를 분석합니다. 또한 변압기가 간단한 설명 만 사용하여 코드를 만드는 방법을 참조하십시오.

이 NLP 책이 끝날 무렵,인지 과학 관점에서 변압기를 이해하고 사전 위험 변압기 모델을 다양한 데이터 세트에 적용하는 데 능숙합니다.

당신이 배울 것

최신 사기 트랜스포머로 NLP 기술을 수행하는 새로운 방법 발견
원래 변압기, GPT-3, Bert, T5, Deberta 및 Reformer의 작업을 파악하십시오.
고전적인 딥 러닝 모델을 능가하는 개념을 사용하여 언어 이해 Python 프로그램 만들기
정서 분석, 텍스트 요약, 음성 인식, 기계 번역 등에 Python, Tensorflow 및 Pytorch 프로그램을 적용하십시오.
주요 변압기의 생산성을 측정하여 생산 범위, 잠재력 및 한도를 정의하십시오.

이 책은 누구를위한 것인지

자연어 (및 이미지) 데이터에 대해 배우고 변압기를 적용하려면이 책이 귀하를위한 것입니다.

NLP, 파이썬 및 딥 러닝에 대한 이해는이 책에서 가장 큰 혜택을 받으려면 필요합니다. 이 책에서 다루는 많은 플랫폼은 대화식 사용자 인터페이스를 제공하여 독자가 NLP 및 AI에 대한 일반적인 관심을 가진이 책의 여러 장을 따라갈 수 있도록합니다.

목차

1. 변압기는 무엇입니까?
2. 트랜스포머 모델의 아키텍처로 시작했습니다
3. 피지 튜닝 버트 모델
4. Roberta 모델을 처음부터 제외합니다
5. 변압기가있는 NLP 작업
6. 변압기를 사용한 마친 번역
7. GPT-3 엔진이있는 Suprahuman 변압기의 상승
8. AI 텍스트 요약을위한 법적 및 재무 문서에 변압기를 적용
9. 토 케네이저 및 데이터 세트 일치
10. 베르트 기반 변압기를 사용한 미용 역할 라벨링
11. 데이터는 이야기, 질문 및 답변을 수행합니다.
12. 예측을 위해 고객 감정을 살펴보십시오
13. 변압기로 가짜 뉴스 분석
14. 블랙 박스 변압기 모델을 해석합니다
15. NLP에서 태스크 공유 변압기 모델에 이르기까지
16. 변압기 중심 필로 트의 출현
17. OpenAi의 chatgpt 및 GPT-4를 사용한 Suprahuman Transformers의 통합
부록 I : 변압기 모델의 용어
부록 II : 변압기 모델의 하드웨어 제약 조건
그리고 더!