큰 언어 모델 (LLM) 손에
참고서 : 대형 언어 모델 마스터 [Google Books Preview] [Github Link]
코드 설명 : 링크
내용물
규칙 기반 모델
- 정규 표현식을 사용한 전화 번호 추출
- 음성 태그의 일부를 사용한 패턴 일치
- 특정 토큰과 특정 속성과 일치합니다
통계 언어 모델
- Bigram 언어 모델의 간단한 구현
- 문장의 ngram
데이터 전처리
- 기본 데이터 정리
- 엔티티 탐지
- 익명화
- 텍스트 사전 처리 예제
- 부품-연설 (POS) 태그
- 의존성 구문 분석
신경망
- xnor 문제를 해결하기위한 피드 포워드 신경망
- IMDB 영화 검토 감정 분류에 대한 LSTM
- IMDB 영화 검토 정서 분류를위한 GRU
- IMDB 영화 검토 감정 분류를위한 양방향 RNN
- CNN 기반 언어 모델 아키텍처
변압기 기반 모델
대형 언어 모델 교육
- 텍스트 생성을위한 작은 LLM 설계
- 문자 수준 텍스트 생성 모델 설계
- 단어 수준 텍스트 생성 모델 설계
- 큰 데이터 세트로 단어 수준 텍스트 생성 모델을 설계합니다
- T5를 사용한 텍스트 생성 모델
대형 언어 모델을 미세 조정합니다
- 포옹 페이스에서 미세 조정 젬마 2 2B-IT 모델
올라마 소개
- Ollama Python 라이브러리를 사용한 LLAMA 3.2 모델 추론
- Ollama Python 라이브러리를 사용한 Gemma 2 모델 추론
- Ollama Python 라이브러리를 사용한 Llava 모델 추론
Langchain 소개
- Langchain과 Ollama를 사용한 Llama 3.2 모델 추론
- Langchain 및 Ollama를 사용한 Llava 모델 추론
검색 세대 (rag)
- Llamaindex 및 Ollama를 사용하여 검색 된 세대 (RAG) 파이프 라인 설계
- Gemma 2 모델 용 검색 세대 (RAG) 파이프 라인 설계
프롬프트 엔지니어링
