Modelo de linguagem grande (LLM) em mãos
Livro de referência: dominar os grandes modelos de idiomas [Google Books Preview] [link do github]
Explicação de código: link
Conteúdo
Modelos baseados em regras
- Extração de número de telefone usando expressões regulares
- Combinação de padrões usando partes de tags de fala
- Combinar tokens específicos com atributos específicos
Modelos de linguagem estatística
- Implementação simples do modelo de linguagem bigram
- Ngrams da frase
Pré -processamento de dados
- Limpeza básica de dados
- Detecção de entidades
- Anonimato
- Exemplo de pré-processamento de texto
- Tags de peças de fala (POS)
- Parsing de dependência
Redes neurais
- Rede neural feedforward para resolver o problema XNOR
- LSTM para Classificação de Sentimento para Revisão de Filme IMDB
- Classificação de sentimentos de revisão de filme do IMDB
- RNN bidirecional para a Classificação de Sentimento de Revisão de Filme IMDB
- Arquitetura do modelo de linguagem baseada na CNN
Modelos baseados em transformadores
- Visualização de auto-parceria
- Codificação posicional
Treinando grandes modelos de idiomas
- Projetando um pequeno LLM para geração de texto
- Projetando um modelo de geração de texto no nível do caractere
- Projetando um modelo de geração de texto no nível da palavra
- Projetando um modelo de geração de texto no nível da palavra com grande conjunto de dados
- Modelo de geração de texto usando T5
Modelos de linguagem grande de ajuste fino
- Modelo Gemma 2 2b-It de Antigração Fina de Abraçar o rosto
Introdução a Ollama
- Modelo de Llama 3.2 InferEncing usando o Ollama Python Library
- Modelo de Gemma 2 infernal usando a biblioteca Ollama Python
- Modelo de Llava Infecting usando o Ollama Python Library
Introdução a Langchain
- Modelo de lhama 3.2 infernal usando Langchain e Ollama
- Modelo Llava InferEncing usando Langchain e Ollama
Geração de recuperação usededed (RAG)
- Projetando um pipeline de geração de recuperação (RAG) usando Llamaindex e Ollama
- Projetando um pipeline de geração de recuperação (RAG) para o modelo Gemma 2
Engenharia rápida
