Transformers for NLP and Computer Vision 3rd Edition

자연 언어 처리 및 컴퓨터 비전을위한 변압기 : Hugging Face, Google Vertex AI, Chatgpt, GPT-4V 및 Dall-E 3 3 판으로 생성 AI 및 LLM을 다음 단계로 끌어 올리십시오.

Denis Rothman에 의해

마지막 업데이트 : 2024 년 10 월 30 일

이 repo는 지속적으로 업데이트 및 업그레이드됩니다.
업데이트 및 개선 사항에 대한 자세한 내용은 ChangElog를 참조하십시오.
예상대로 실행되지 않는 것이 보이면 문제를 제기하면 작업을 수행 할 것입니다!

찾으세요? OpenAi O1의 추론 모델, MidJourney의 API, Google Vertex AI Gemini의 API, OpenAi 비동기 배치 API 호출과 같은 새로운 보너스 노트를 탐색하십시오!
찾으세요? OpenAI의 최신 GPT-4O 및 GPT-4O- 미니 모델과 같은 최신 모델 또는 플랫폼 릴리스 에 대한 기존 노트북을 살펴보십시오.
찾으세요? 새로운 종속성 버전과 플랫폼 API 제약 조건 및 조정으로 기존 노트북을 실행합니다.

NLP 및 컴퓨터 vision-3 edition에서 변압기

이것은 Packt에서 게시 한 자연 언어 처리 및 컴퓨터 비전을위한 변압기의 코드 저장소입니다.

포옹 얼굴, chatgpt, gpt-4v 및 dall-e 3을 가진 생성 AI 및 대형 언어 모델 탐색

책에 대해

자연 언어 처리 및 컴퓨터 비전을위한 변압기, 제 3 판은 대형 언어 모델 ( LLM ) 아키텍처 , 응용 프로그램 및 다양한 플랫폼 (Hugging Face, OpenAi 및 Google Vertex AI)을 탐색 합니다 .

생성 비전 트랜스포머 및 멀티 모달 모델 아키텍처로 뛰어 들고 이미지 및 비디오-텍스트 분류기와 같은 응용 프로그램을 구축하십시오. 다양한 모델과 플랫폼을 결합하고 AI 에이전트 복제에 대해 배우십시오.

당신이 배울 것

• LLM을 예약하고 미세 조정하는 방법을 배우십시오
• Hugging Face, OpenAi 및 Google Vertex AI와 같은 여러 플랫폼에서 작업하는 방법에 대해 알아보십시오.
• 다른 토큰 화제와 언어 데이터 전처리에 대한 모범 사례에 대해 알아보십시오.
• 환각을 완화하기 위해 검색 증강 생성 및 규칙 기반을 구현합니다.
• Bertviz, Lime 및 Shap을 사용하여 더 깊은 통찰력을위한 변압기 모델 활동 시각화
• HuggingGpt와 같은 크로스 플랫폼 체인 모델을 만들고 구현하십시오
• Clip, Dall-E 2, Dall-E 3 및 GPT-4V를 사용하여 Vision Transformers로 심층적으로 이동하십시오.

목차

챕터

1. 변압기는 무엇입니까?
2. 변압기 모델의 아키텍처를 시작합니다
3. 출현 대 다운 스트림 작업 : 보이지 않는 변압기 깊이
4. Google Trax, Google Translate 및 Gemini와의 번역의 발전
5. 버트를 통해 미세 조정으로 뛰어 들었습니다
6. Roberta를 통해 트랜스포머를 처음부터 사전으로 전제합니다
7. Chatgpt와의 생성 AI 혁명
8. 미세 조정 Openai GPT 모델
9. 해석 가능한 도구로 블랙 박스를 산산조각냅니다
10. 변압기 모델을 형성하는 데 토큰 화제의 역할을 조사합니다
11. 미세 조정의 대안으로 LLM 임베딩을 활용합니다
12. Chatgpt 및 GPT-4를 사용한 구문이없는 시맨틱 역할 레이블을 향해
13. T5 및 Chatgpt와의 요약
14. 정점 AI 및 Palm 2로 최첨단 LLM을 탐색합니다
15. 자이언츠 보호 : 대형 언어 모델에서 위험을 완화합니다
16. 텍스트 너머 : 혁명 AI의 새벽에 비전 변압기
17. 안정적인 확산으로 이미지 텍스트 경계를 초월합니다
18. 포옹 얼굴 자동 열대 : 코딩없이 비전 모델
19. Hugginggpt와 그 동료들과 함께 기능적 AGI로가는 길
20. 인간이 디자인 된 프롬프트를 넘어 생성적인 생각을 가진

충수

부록 : 질문에 대한 답변

플랫폼

아래 표에서 직접 노트북을 실행할 수 있습니다.

장	콜랩	Kaggle	구배	Studiolab
파트 1 변압기 모델의 기초
1 장 : 변압기 란 무엇입니까?
? O_1_AND_ACCELERATORS.IPYNB chatgpt_plus_writes_and_explains_ai.ipynb
2 장 : 변압기 모델의 아키텍처 시작
? multi_head_attention_sub_layer.ipynb positional_encoding.ipynb
제 3 장 : 출현 대 다운 스트림 작업 : 보이지 않는 트랜스포머 깊이
from_training_to_emergence.ipynb Transformer_tasks_with_hugging_face.ipynb
4 장 : Google Trax, Google Translate 및 Google Bard와의 번역의 발전
wmt_translations.ipynb trax_google_translate.ipynb
5 장 : 버트를 통해 미세 조정으로 다이빙
bert_fine_tuning_sentence_classification_gpu.ipynb
6 장 : Roberta를 통해 트랜스포머를 처음부터 사전으로 전제합니다
? Kantaibert.ipynb ?? customer_support_for_x.ipynb
파트 II : Suprahuman NLP의 상승
7 장 : Chatgpt와의 생성 AI 혁명
OpenAi_Models.ipynb Openai_gpt_4_assistant.ipynb ? ? gpt_4_rag.ipynb (gpt-4o)
OpenAi 추론 모델 : O1- 프리뷰 API
? OpenAi_Reasoning_Models_O1_API.IPYNB
8 장 : 미세 조정 개방형 모델
fine_tuning_openai_models.ipynb ? fine_tuning_gpt_4o_mini_squad.ipynb
9 장 : 해석 가능한 도구로 블랙 박스를 산산조각냅니다
bertviz_interactive.ipynb hugging_face_shap.ipynb
10 장 : 변압기 모델을 형성하는 데있어 토큰 화제의 역할 조사
Tokenizers.ipynb sub_word_tokenizers.ipynb ? exploring_tokenizers.ipynb
11 장 : 미세 조정 대안으로 LLM 임베딩 활용
? embedding_with_nlkt_gensim.ipynb ? Question_answering_with_embeddings.ipynb ? Transfer_Learning_with_ada_embeddings.ipynb
12 장 : Bert 및 Openai의 chatgpt를 사용한 구문없는 시맨틱 역할 라벨링으로
semantic_role_labeling_gpt-4.ipynb
13 장 : T5 및 Chatgpt와의 요약
? Summerizing_text_t5.ipynb 요약 _chatgpt.ipynb
14 장 : Google Vertex AI를 사용하여 최첨단 NLP 탐색
Google_vertex_ai.ipynb ? Google_vertex_ai_gemini.ipynb
15 장 : 자이언트 보호 : 큰 언어 모델의 위험 완화 <
? auto_big_bench.ipynb (gpt-4o, 동기) ? auto_big_bench.ipynb (gpt-4o-mini, 동기) 비동기 배치 호출이있는? GPT API Speed ​​++! ? wandb_prompts_quickstart.ipynb encoder_decoder_transformer.ipynb mitigating_generative_ai.ipynb
파트 III : 생성 컴퓨터 비전 : 세상을 보는 새로운 방법
16 장 : 혁명 AI의 새벽 시력 변압기
vit_clip.ipynb get_started_dall_e_api.ipynb ? gpt-4v.ipynb (gpt-4o)
17 장 : 안정적인 확산으로 이미지 텍스트 경계를 초월합니다
stable_diffusion_keras.ipynb 안정적인 __vision_stability_ai.ipynb stable__vision_stability_ai_animation.ipynb text_to_video_synthesis.ipynb Timesformer.ipynb
포옹 얼굴로 안정적인 확산
? stable_diffusion_hugging_face.ipynb
18 장 : 자동 비전 변압기 교육
? hugging_face_autotrain.ipynb
19 장 : Hugginggpt와 동료들과 함께 기능적 AGI로가는 길
computer_vision_analysis.ipynb
제 20 장 : 생성 AI 아이디어 Vertex AI, Langchain 및 안정적인 확산
automated_design.ipynb midjourney_bot.ipynb ? automated_ideation.ipynb ? mymidjourney_api.ipynb

이 리포지토리의 입력 구조 GPT-4 챗봇과 채팅하십시오

이 저장소에 대해 내 Custom GPT4 봇과 채팅하십시오.

이 저장소에 대해 질문 할 수 있습니다. 노트북의 코드를 내 채팅 GPT에 복사하고 설명을 요청할 수도 있습니다.

이것은이 Github 저장소를 위해 OpenAI에 제작 된 최첨단 입력 구조 챗봇입니다. OpenAi는이를 탐색하기 위해 ChatGpt + 구독이 필요합니다.

제한 사항 : 이것은 실험적인 챗봇입니다. 이 Github 저장소에 전념하고 있으며 책에 제공된 설명을 대체하지 않습니다. 그러나 당신은 반드시 내 GPT-4 챗봇과 흥미로운 교육 상호 작용을 할 수 있습니다.

문제를 제기하십시오

당신은 우리가 지원을 제공하게되어 기쁘다!

내 사본을 얻으십시오

이 책이 당신을위한 것이라고 생각한다면, 오늘 사본을 받으십시오!

Discord 서버에 대해 자세히 알아보십시오

Discord의 커뮤니티에서 더 많은 최신 업데이트 및 토론을 위해 Discord 서버에 더 많은 참여를 할 수 있습니다.

무료 PDF를 다운로드하십시오

이 책의 인쇄 또는 Kindle 버전을 이미 구입 한 경우 무료로 DRM-Free PDF 버전을받을 수 있습니다. 무료 PDF를 청구하려면 링크를 클릭하십시오.

또한이 책에서 Colorimages에서 사용 된 스크린 샷/다이어그램의 컬러 이미지가있는 PDF 파일도 제공합니다.

저자를 알아 가라

Denis Rothman은 Sorbonne University와 Paris-Cité University를 졸업하고 Paris-I Panthéon Sorbonne에서 최초의 특허받은 인코딩 및 임베딩 시스템 중 하나를 설계했으며, 첫 번째 특허받은 단어 인코딩 및 AI Bots/Robots 중 하나를 저술했습니다. 그는 Moët et Chandon (LVMH)을위한 자연 언어 처리 (NLP) 챗봇과 Airbus (이전 Aerospatiale)를위한 AI 전술 방어 최적화기를 제공하는 경력을 시작했습니다. 그런 다음 Denis는 IBM 및 럭셔리 브랜드 용 AI Optimizer를 저술하여 전 세계적으로 사용되는 APS (Advanced Planning and Scheduling) 솔루션으로 이어졌습니다. LinkedIn