300days__Generativeai
Este repositório, 300Days_generativeai, é dedicado a 300 dias de aprendizado contínuo focado na IA generativa, estudando livros diferentes e trabalhos de pesquisa diariamente. Vou revisitar os aprendizados passados, atualizar meu entendimento e mergulhar mais nos meandros generativos da IA.
| Não | Livro | Status |
|---|
| 1 | Mastering Pytorch: Criar e implantar modelos de aprendizado profundo de CNNs para Multimodal Models, LLMS e Beyond (Ashish Ranjan Jha) | Em andamento |
| 2 | Transferir aprendizado para processamento de linguagem natural (Paul Azunre) | |
| 3 | Construa um grande modelo de linguagem (do zero) (Meap) (Sebastian Raschka) | Em andamento |
| 4 | Aprenda IA generativa com Pytorch (Mark Liu) | |
| 5 | AI generativa em ação (MEAP V02) (Amit Bahree) | |
| 6 | Entendendo o Langchain: um guia abrangente para criar aplicativos futuristas de modelo de linguagem (Jeffery Owens) | |
| 7 | O manual do desenvolvedor para grande segurança de modelos de idiomas (Steve Wilson) | |
| Não. | Trabalho de pesquisa | Tópico | Status |
|---|
| 1 | Um novo modelo de rede neural convolucional Deep LeNet-5 para reconhecimento de imagem | LeNet-5 | ✅ Concluído |
| 2 | Indo mais fundo com convoluções | Googlenet | ✅ Concluído |
Dia 1 de 300DaysOfGenerativei
- Na sessão de hoje sobre como dominar o Pytorch, concentrei -me nos aspectos fundamentais do aprendizado profundo, particularmente através do tutorial de "aprendizado profundo com Pytorch: um blitz de 60 minutos". Aprendi sobre arquiteturas de redes neurais, incluindo camadas totalmente conectadas, convolucionais e recorrentes, e explorei os principais módulos de Pytorch, como a tocha. Eu pratiquei propagação para frente e atrasada, cálculo de perdas e descida de gradiente, culminando na construção de uma simples rede neural de alimentação. Nas próximas sessões, minha agenda inclui um mergulho profundo no poder das redes neurais convolucionais (CNNs), sua evolução arquitetônica e desenvolvimento prático de modelos como LENET, ALEXNET, VGG, Googlenet, Inception V3, Resnet, Densenet e Eficiente, Nets, discussões e futuros no futuro.
- Recurso adicional:
- Aprendizagem profunda com Pytorch: uma blitz de 60 minutos
Dia 2 de 300DaysOfGenerativeAi
- Na sessão de hoje sobre o Mastering Pytorch, tenho uma sessão breve, mas produtiva, mergulhando em arquiteturas profundas da CNN. Explorei por que os CNNs são tão eficazes para tarefas como classificação de imagens e detecção de objetos, destacando sua eficiência de parâmetros, extração automática de recursos e aprendizado hierárquico. Analisei várias inovações arquitetônicas, como CNNs espaciais, de profundidade, largura e com vários caminhos. Também examinei uma implementação do AlexNet em Pytorch, concentrando -se em sua estrutura de camada e como ele aproveita as funções de abandono e ativação. Além disso, observei a disponibilidade de vários modelos CNN predefinidos no pacote Torchvision da Pytorch, incluindo Alexnet, VGG, Resnet e outros.
Dia 3 de 300DaysOfGenerativeAi
- Na sessão de hoje sobre o Mastering Pytorch, preparei um conjunto de dados para uma tarefa de classificação de imagem, implementei um processo de ajuste fino para um modelo Alexnet pré-treinado e abordei um problema de comportamento determinístico que surgiu durante o treinamento. Criei carregadores de dados, funções auxiliares definidas para visualização e modelo de ajuste fino e modifiquei a camada final do modelo pré-treinado para corresponder ao número de classes no meu conjunto de dados. Durante o processo de ajuste fino, encontrei um aviso relacionado ao uso da operação
adaptive_avg_pool2d_backward_cuda , que não possui uma implementação determinística. Para resolver isso, aprendi sobre diferentes abordagens para permitir o comportamento determinístico em Pytorch, como desativar seletivamente o determinismo para a operação problemática ou o uso da opção warn_only=True ao ativar algoritmos determinísticos.
Dia 4 de 300DaysOfGenerativeAi
- Na sessão de hoje sobre o domínio de Pytorch, aprendi que o Googlenet, também conhecido como Inception V1, é uma arquitetura de rede neural convolucional inovadora que introduziu o módulo de início, que apresenta camadas convolucionais paralelas com tamanhos variáveis de kernel (1x1, 3x3, 5x5) para capturar recursos de várias escalares. Descobri que as convoluções 1x1 são cruciais para a redução da dimensionalidade, permitindo que o modelo mantenha a eficiência, reduzindo a profundidade dos mapas de recursos sem alterar as dimensões espaciais. Além disso, aprendi que o GoogleNet emprega um agrupamento médio global antes da camada de saída para minimizar os parâmetros e aumentar a robustez contra o excesso de ajuste. Minha exploração da Inception V3 me mostrou como ele se baseia no design original com módulos mais complexos e camadas adicionais, resultando em melhor desempenho. No geral, agora tenho uma compreensão mais profunda das técnicas inovadoras no Googlenet e no Infception V3, incluindo módulos de início, convoluções 1x1 e pool médio global, que avançaram significativamente o campo da visão computacional.
Dia 5 de 300DaysOfGenerativeAi
- Na sessão de hoje sobre o Mastering Pytorch, trabalhei na implementação da arquitetura Googlenet, com foco na construção e integração de vários módulos de início na rede. Refinei os parâmetros de cada módulo de início para refletir corretamente a configuração pretendida, que incluía ajustar as camadas convolucionais e de agrupamento para extrair com eficiência recursos em várias escalas. Além disso, incorporei a camada convolucional inicial com normalização em lote e ativação do RelU, seguida por camadas de pool máximo para desmarcado. Enquanto trabalhava no modelo, também considerei a importância dos classificadores auxiliares, que normalmente são incluídos na arquitetura Googlenet para ajudar a mitigar o problema do gradiente de fuga, fornecendo supervisão intermediária. Esses classificadores são versões menores do classificador principal, anexadas às camadas anteriores, e melhoram a capacidade da rede de aprender recursos significativos durante o treinamento.
Dia 6 de 300DaysOfGenerativeAi
- Na sessão de hoje, li "Um novo modelo de rede neural convolucional de Deep LeNet-5 para reconhecimento de imagem", que propõe uma versão aprimorada da arquitetura tradicional LENET-5 que visa melhorar os recursos de reconhecimento de imagens. Os autores abordam as limitações do aprendizado de máquina convencionais e dos modelos anteriores da CNN, como requisitos altos de hardware e velocidades lentas de convergência. Sua nova abordagem simplifica a estrutura da rede enquanto aumenta a velocidade de treinamento e modifica a função de ativação em uma unidade linear retificada logarítmica (L Relu). Os resultados experimentais no conjunto de dados MNIST demonstram que o modelo aprimorado atinge uma taxa de reconhecimento superior a 98%, superando significativamente outros algoritmos de última geração, fornecendo uma referência valiosa para avanços na tecnologia de reconhecimento de imagens.
Dia 7 de 300DaysOfgenerativei
- Na sessão de hoje em "Build A Language Model (From Scratch)", de Sebastian Raschka, investigei os fundamentos de grandes modelos de idiomas (LLMS) e sua construção. Explorei a arquitetura do transformador, que inclui codificadores e decodificadores, enfatizando o mecanismo de auto-distribuição que permite que os modelos se concentrem em diferentes partes do texto de entrada. Examinei os dois estágios principais no Building LLMS: pré-treinamento em grandes corpora de texto bruto para previsão da próxima palavra e fino em conjuntos de dados menores e rotulados para tarefas específicas. Além disso, aprendi sobre os recursos generativos de modelos como o GPT e seus comportamentos emergentes, que lhes permitem executar uma variedade de tarefas, como tradução e classificação, mesmo sem treinamento explícito para essas tarefas.
