Deep Learning Paper
1.0.0
Eu li esses trabalhos relacionados à PNL e aprendizado profundo. Aqui estão vários artigos do básico ao avançado. ? Além disso, você pode verificar meus comentários em papel coreano clicando no link anexado à tabela.
Você pode ver mais comentários em papel, implementação de código e descrições de matemática no meu blog <- clique aqui
Escrevo vários artigos para explicar em detalhes algumas tecnologias de aprendizado profundo. Esses artigos podem ser encontrados na tabela abaixo.
| Título | Link do blog |
|---|---|
| Como a lei de escala se desenvolveu na PNL? ? | https://cartinoe5930.tistory.com/entry/how-has-scaling-law-developed-in-nlp-%f0%9f%A4%94-nlp%97%90%EC%84 %9c-escala de escala%EB%8A%94-%EC%96%B4%EB%96%BB%ea%b2%8c-%EB%B0%9C%EC%A0%84%EB 90%98%EC 97%88%EC%9D 84%84%B9%B9%8c |
| Fechado de código fechado? Fonte aberta ?? O que é aquilo?? ? | https://cartinoe5930.tistory.com/entry/the-opes-of-researchers-open-source-%f0%9f%A4%97- %EC%97%B0%EA%B5%CA%EC%9E%90%EB%93%A4%EC%9D%98%Ed%9D%CA%EB%A7%9D-Open-source-%F0%9F%A4%97 |
| Janela de contexto de LM, deveria demorar? Deve ser curto? ? | https://cartinoe5930.tistory.com/entry/lm%EC%9D%98-Context-window-%EA%B8%B8%EC%96%B4%EC%95%B C-%Ed%95%a0%ea%b9%8c-%EC%A7%A7%EC%95%84%EC%95%bc-%ed%95%a0%ea%b9%8c-%f0%9f%93%8F%F0%9F%A4 A4 A8 |
| Qual é a maneira mais ideal de avaliar o LM? ? | https://cartinoe5930.tistory.com/entry/lm%EC%9D%84-%EA%B0%80%EC%9e%A5-%EC%B5%9C%EC%Ad%81%EC%9C%BC%Eb%a %9C contradptimos lugar. B0%80%Ed%95%A0-%EC%88%98-%EC%9E%88%EB%8A%94-%EB%B0%A9%EB%B2%95%EC%9D%80%de eB 9%B1%CA%F4%F1%F0%F1%F1%87%EC 9D 9D%%8%%B9%B%CA%87%de EC |
| O desempenho do chatgpt está piorando?!?!? ? | https://cartinoe5930.tistory.com/entry/chatgpt%ec%9D%98-%EC%84%B1%EB%8A%A5%EC%9D%B4-%EC%95% 88%EC%A2%8B%EC%95%84%EC%A7%80%EA%B3%A0-%EC%9E%88%EB%8B%A4%EA B5%AC-%F0%9F%98%B2%F0%98%98%B2 |
| Você também pode ajustar! com peft? | https://cartinoe5930.tistory.com/entry/%EB%8B%B9%EC%8B%A0%EB%8F%84-Fine-Tuning- %ED%95%A0-%EC%88%98-%EC%9E%88%EC%8A%B5%EB%8b%88%EB%8b%A4-With-PEFT-%F0%9F%A4%97 |
| Vamos pensar passo a passo como humanos! ? | https://cartinoe5930.tistory.com/entry/%ED%95%9C-%EB%8B%A8%EA%B3%84-%ED%95%9C-%EB%8B%A8%EA%B3%84%94%94 %EC%9d%b8%ea%b0%84%EC%B2%98%EB%9F%BC-%EC%83%9d ea%b0%81%ed%95%b4%eb%b3%b4%9e4 9e 90-90%F0%9F a7%a0%a0%de b4%de 9e4 |
| Processo de desenvolvimento do método de ajuste fino !! Do ajuste fino ao rlHf? ➡️? | https://cartinoe5930.tistory.com/entry/fine-tuning-method%EC%9D%98-%EC%A7%84%ED%99%94-%EA%B3%BC%EC%Ad%95-bal |
| É hora de ajustar o chatgpt !! ⏰ | https://cartinoe5930.tistory.com/entry/%EC%9D%B4%EC%A0%9C%EB%8a%94-chatgpt%eb%A5%BC-fine%B-TUNING-%ED%95%A0-COLEC%8B%9C%EACC-TUNING-TUNE2 |
| O barulho torna o LLM melhor! - Neftune | https://cartinoe5930.tistory.com/entry/noise-makes-llm-better-nefune-%f0%9f%98%89 |
| Título do papel | Link de papel ou site de referência | Revisão em papel |
|---|---|---|
| Incorporação da matriz | https://wikidocs.net/book/2155 | https://cartinoe5930.tistory.com/entry/embedding-matrix-%Ed%95%99%EC%8a%B5 |
| LSTM: Memória de termo curto e curto | https://colah.github.io/postss/2015-08-undestanding-lstms/ | https://cartinoe5930.tistory.com/entry/%EC%95%8C%EA%B8%B0-%EC%89%BD%EA%B2%8C-lstm-Networks-%EC%9D%B4%ED%95%B4 bal |
| GRU: Representações de frase de aprendizado usando o codificador RNN para tradução para máquinas estatísticas | https://arxiv.org/abs/1406.1078 | https://cartinoe5930.tistory.com/entry/gru-empiric-evaluation-of-gated-recurrent neural-networks-on-sequence-modeling-%eb%85%BC%EB%AC%B8-%EB%A6AC%EB%85%BC%EB%AC%B8-C8-%EB%A6AC marcha%B75 |
| LSTM vs. GRU: Avaliação empírica de redes neurais recorrentes fechadas na modelagem de sequência | https://arxiv.org/abs/1412.3555 | https://cartinoe5930.tistory.com/entry/lstm-vs-gru-%eb%ad%90%ea%B0%80-%EB%8D%94-%EB%82%98%EC%9D%84%EA%B9C-EMP Evaluação de avaliação Írica-de-recorrente neural-networks-on-sevence-modeling-%EB%85%BC%EB%AC%B8-%EB%A6%CA%EB%B7%B0 |
| Título do papel | Link de papel ou site de referência | Revisão em papel |
|---|---|---|
| Transformador: Atenção é tudo que você precisa | https://arxiv.org/abs/1706.03762 | https://cartinoe5930.tistory.com/entry/transformer-attion-is-all-you-need-%eb%85%BC%EB%AC%B8-%EB%A6%AC%EB%B7%B0 |
| ELMO: Representações de palavras contextualizadas profundas | https://arxiv.org/abs/1802.05365 | https://cartinoe5930.tistory.com/entry/pretroured-language-modeling-paper-reading1-elmo-deep-contextualized-word-re-apresentações |
| Bert: pré-treinamento de transformadores bidirecionais profundos para compreensão de idiomas | https://arxiv.org/abs/1810.04805 | https://cartinoe5930.tistory.com/entry/pretroured-language-modeling-paper-reading2-bert-pre-trading-ofdeep-bidirecional transformers-for-language |
| GPT-1: Melhorando a compreensão da linguagem por pré-treinamento generativo | https://s3-us-west-2.amazonaws.com/openai-assets/research-covers/language-unsupervised/language_understanding_paper.pdf | https://cartinoe5930.tistory.com/entry/pretroured-language-modeling-paper-reading3-gpt-1-improving-language-entendendo-se-generative-prelating |
| GPT-2: Modelos de idiomas são aprendizes de várias tarefas não supervisionados | https://d4mucfpksywv.cloudfront.net/better-language-models/language_models_are_unsupervised_multitask_learners.pdf | https://cartinoe5930.tistory.com/entry/gpt-2-language-models-are-unsupervised-multitak-learners-%eb%85%BC%EB%AC%B8-%EB%A6ACOLAC%EB%B7B7B7B0 |
| GPT-3: Modelos de idiomas são poucos alunos | https://cartinoe5930.tistory.com/entry/gpt-3-language-models-are-few-shot-learners-%EB%85%BC%EB%AC%B8-%EB%A6AC%EB%B7B0 | https://cartinoe5930.tistory.com/entry/gpt-3-language-models-are-few-shot-learners-%EB%85%BC%EB%AC%B8-%EB%A6AC%EB%B7B0 |
| Transformer-xl: modelos de linguagem atentos além de um contexto de comprimento fixo | https://arxiv.org/abs/1901.02860 | https://cartinoe5930.tistory.com/entry/transformer-xl-attive-language-models-beyond-a-fixed-length-context-%eb%85%BC%EB%AC%B8-%EB%A6AC%EBrig %BC7 B%EB%B%B8-%EB%A6AC%EB%EB%B7bc bal |
| Transformadores esparsos: gerando longas seqüências com transformadores esparsos | https://arxiv.org/abs/1904.10509 | https://cartinoe5930.tistory.com/entry/sparse-transformers-generating-long-sequence-with-sparse-transformers-%eb%85%BC%EB%AC%B8-%EB%A6ACOLAC%EBrig %BC %EB%AC%B8-%EB%A6A6AC |
| XLNET: pré -treinamento auto -regressivo generalizado para compreensão da linguagem | https://arxiv.org/abs/1906.08237 | https://cartinoe5930.tistory.com/entry/xlnet-generalized-autoregressive-pretrening-for-language-entendendo ao entendimento-%EB%85%BC%EB%AC%B8-%EB%A6A6AC %EB%B7b7b7b0 |
| Spanbert: melhorando o pré-treinamento representando e prevendo vãos | https://arxiv.org/abs/1907.10529 | https://cartinoe5930.tistory.com/entry/spanbert-improving-pre-ting-by-representing-and-predicting spans-%eb%85%BC%EB%AC%B8-%EB%A6AC%EB%EB %BC%EB%AC%B8-%EB%A6AC%EB%EB®B7 B marcaBC%EB%C8- Lo%EB%A6AC%EB%B7bc%BC %EBrig |
| Roberta: Uma abordagem de pré-treinamento de Bert robustamente otimizada | https://arxiv.org/abs/1907.11692 | https://cartinoe5930.tistory.com/entry/roberta-a-robustly-timized-bert-preretraining-approach-%eb%85%BC%EB%AC%B8-%EB%A6ACOLAC%EBrig %BC%BC0 |
| Sentença-Bert: incorporações de sentença usando Siamese Bert-Networks | https://arxiv.org/abs/1908.10084 | https://cartinoe5930.tistory.com/entry/sentence-bert-sentence-embeddings-using-siamese-bert-networks-%EB%85%BC%EB%AC%B8-%EB%A6AC%EB%B7 B%EB%AC%B8-%EB%A6AC |
| Albert: Um Lite Bert para o aprendizado auto-supervisionado de representações de idiomas | https://arxiv.org/abs/1909.11942 | https://cartinoe5930.tistory.com/entry/albert-a-lite-bert-for-self-supervised-learning-of-language representações-%eb%85%BC%EB%AC%B8-%EB%A6AC%EBrig %BC7bc%EB%C%B8-%EB%A6AC%EBrig %b7 %BC |
| BART: DenOising Sequence-Sensence Pré-treinamento para geração de linguagem natural, tradução e compreensão | https://arxiv.org/abs/1910.13461 | https://cartinoe5930.tistory.com/entry/bart-denoising-sequence-to-sequence-pre-trening-for-tatural-language-generation-translation-and-comprehension-%eb%85%BC%EB%AC%B8-%EB %EB%85%BC%EB%AC%B8- Lo%EBanas |
| Transformador pré-LN: na normalização da camada na arquitetura do transformador | https://arxiv.org/abs/2002.04745 | https://cartinoe5930.tistory.com/entry/pre-ln-transformer-on-layer-normalization-in-the-transformer-architecture-%eb%85%BC%EB%AC%B8-%EB%A6ACO%EB%B7B7B0 |
| Electra: codificadores de texto pré-treinamento como discriminadores em vez de geradores | https://arxiv.org/abs/2003.10555 | https://cartinoe5930.tistory.com/entry/electra-pre-trening-text-encoders-as-discriminators-rather-than-generators |
| Longformer: o transformador de documentos de longa data | https://arxiv.org/abs/2004.05150 | https://cartinoe5930.tistory.com/entry/longformer-the-long-document-transformer-%eb%85%BC%EB%AC%B8-%EB%A6%AC%EB%B7%B0 |
| Bigbird: Transformers para sequências mais longas | https://arxiv.org/abs/2007.14062 | https://cartinoe5930.tistory.com/entry/bigbird-transformers-for-longer-sequences-%eb%85%BC%EB%AC%B8-%EB%A6%AC%EB%B7%B0 |
| WebGPT: Perguntas assistidas pelo navegador-Respondendo a feedback humano | https://arxiv.org/abs/2112.09332 | https://cartinoe5930.tistory.com/entry/webgpt-browser-sististed-question-answering-with-human-feedback-%eb%85%BC%EB%AC%B8-%EB%A6AC%EB%B7 B%EB%EB%B8-%EB%A6Ac |
| OPT: Modelos de linguagem de transformadores pré-treinados abertos | https://arxiv.org/abs/2205.01068 | https://cartinoe5930.tistory.com/entry/opt-open-pre-traild-transformer-language-models-%eb%85%BC%EB%AC%B8-%EB%A6AC%EB%B7B0 |
| Mamba: modelagem de sequência de tempo linear com espaços de estado seletivos | https://arxiv.org/abs/2312.00752 | Sem plano! |
| Título do papel | Link de papel ou site de referência | Revisão em papel |
|---|---|---|
| Tinybert: destilar Bert para a compreensão da linguagem natural | https://arxiv.org/abs/1909.10351 | https://cartinoe5930.tistory.com/entry/tinybert-distilling-bert-for- natural-language-entenda-%eb%85%BC%EB%AC%B8-%EB%A6ACOCA%EB%B7 B%EB%B0 |
| Destilbert: uma versão destilada de Bert | https://arxiv.org/abs/1910.01108 | https://cartinoe5930.tistory.com/entry/distilbert-a-distiled-version-of-bert-smaller-faster-cheaper-e-labirtle-jogador%85%BC%EB%AC%B8-%EB%A6AC%EB%EB %BC%BC |
| Não é apenas o tamanho que importa: pequenos modelos de idiomas também são poucos alunos (PET 응용) | https://arxiv.org/abs/2009.07118 | https://cartinoe5930.tistory.com/entry/its-not-just-size-that-matters-small-language-models-are-alos-few-shot-learners-%eb%85%BC%EB%AC%B8-%EB %EB%EB%85%BC%EB%AC%B8- Lo%EB®a6AC%EB%85%BC |
| Título do papel | Link de papel ou site de referência | Revisão em papel |
|---|---|---|
| Chinchilla: Treinamento de grandes modelos de linguagem ideal | https://arxiv.org/abs/2203.15556 | https://cartinoe5930.tistory.com/entry/%EC%A7%80%EA%B8%88-%EA%B9%8C%EC%A7%80%E C%9d%98-lm-scaling-law%EC%97%90%EB%8A%94-%EB%AC%B8%EC%a0%9c%EC%a0%90%EC%9d%b4- %EC%9e%88%EB%8B%A4-%F0%9F%98%B6%E2%80%8D F0%9F%8C%AB%EF%B8%8f-chinnchilla-treinamento%bc-computão Actimal-Large-Models-Models-AB eB eb 85%%%eb ° ACC de b8%b8%b8%bc1%bc1%bc%bc%b8%b8-b8-language-models-AB eb 85%%%%bc%b8%b8%b8 b8-b8-b8-language-models-a eb eb 85%%%bc%b8%b8%b8-b8-b8-large-language-models-a eb eb 85%%eb ° CC |
| Pythia: uma suíte para analisar grandes modelos de idiomas em treinamento e escala | https://arxiv.org/abs/2304.01373 | Sem plano! |
| Lima: menos é mais para o alinhamento | https://arxiv.org/abs/2305.11206 | https://cartinoe5930.tistory.com/entry/lima-less-is-more-for-alignment-%eb%85%BC%EB%AC%B8-%EB%a6%AC%EB%B7 B%B0 |
| Lhama: modelos de linguagem de fundação abertos e eficientes | https://arxiv.org/abs/2302.13971 | https://cartinoe5930.tistory.com/entry/llama-open-and-eficiente-foundation-language-models-%eb%85%BC%EB%AC%B8-%EB%A6%AC%EB%B7%B0 |
| Wizardlm: capacitar grandes modelos de linguagem para seguir instruções complexas | https://arxiv.org/abs/2304.12244 | https://cartinoe5930.tistory.com/entry/open-domain-instruction%ec%9D%98-%ED%9A%A8%EA%B3%BC-%F0%9F%AA%84-WIZ ARDLM-EMPOWERATING-LARGE-MODELOS-MODELOS-PARA SOLGULO COMPLEXO-INSTRUÇÕES-%EB%85%BC%EB%AC%B8-%EB%A6%CA%EB%B7%B0 |
| WizardCoder: Empodering Code Language Models com Evol-Instruct | https://arxiv.org/abs/2306.08568 | https://huggingface.co/wizardlm/wizardcoder-15b-v1.0 |
| Wizardmath: capacitar o raciocínio matemático para grandes modelos de idiomas por meio da instrução Evolcida evolução | https://arxiv.org/abs/2308.09583 | https://huggingface.co/wizardlm/wizardmath-70b-v1.0 |
| ALPACA: Um modelo forte e replicável de seguidores | https://crfm.stanford.edu/2023/03/13/alpaca.html | https://cartinoe5930.tistory.com/entry/alpaca-a-strong-replicable-struction-following-model-%EB%A6%AC%EB%B7%B0 |
| Vicuna: Um chatbot de código aberto impressionando o GPT-4 | https://lmsys.org/blog/2023-03-30-vicuna/ | https://cartinoe5930.tistory.com/entry/vicuna-an-open-source-chatbot-impressing-gpt-4-%eb%A6%AC%EB%B7%B0 |
| Koala: um modelo de diálogo para pesquisa acadêmica | https://bair.berkeley.edu/blog/2023/04/03/koala/ | https://cartinoe5930.tistory.com/entry/%EC%A4%91%EC%9A%94%ED%95%9C-%EA%B1%B4-%EA%BA%BE%EC%9D%B4%EC %A7%80-%EC%95%8A%EB%8A%94 alta qualidade Data-koala%F0%9F%90%A8-A-diário-modelo para resseerno-acadêmico |
| Baize: um modelo de bate-papo de código aberto com ajuste com eficiência de parâmetros nos dados do auto-traseiro | https://arxiv.org/abs/2304.01196 | https://cartinoe5930.tistory.com/entry/%F0%9F%90%B2BAIZE-an-Open-Source-Chat-Model-With-Parameter-Eficiente-Tuning-On Fol-se-Chat-Data-%EB%85%BC %EB8-C8- %E-chat-data-%eb%85%BCB %EB8-C8-1BC8-1BC8-BC8-Ca-chat marca-Data-%Eb%85%BC %EB8-C8-1BC85-1BC85-1BC85-1BC85-1BEBCB8-BC8-Ca-chat marca-Data-%EB%85%BC %Ebb8-balb8-d-chat-data-%eb%85%BCB %Ebb8- %E-chat-data- |
| Escalar modelos de linguagem com restrição de dados | https://arxiv.org/abs/2305.16264 | https://www.youtube.com/watch?v=tk0-sitkcmw&pp=ygugahr0chm6ly9hcnhpdi5vcmcvywjzlzizmduumtyynjqq%3d |
| Falcon & RefinedWeb | https://arxiv.org/abs/2306.01116 | https://cartinoe5930.tistory.com/entry/open-llm-leaderboard%eb%A5%BC-%ED%9C%A9%EC%93%B4-FalCon%F0%9f%A6%85-llm-Falcon-Refinedweb |
| ORCA: Aprendizagem progressiva com traços de explicação complexos do GPT-4 | https://arxiv.org/pdf/2306.02707 | https://cartinoe5930.tistory.com/entry/%F0%9f%90%Corca-progressive-learning-from-complex-explicação-traces-of-gpT-4-%EB%85%BC%EB%B8-W |
| phi-1: livros de texto são tudo o que você precisa | https://arxiv.org/abs/2306.11644 | https://cartinoe5930.tistory.com/entry/%ED%95%84%EC%9A%94%ED%95%9C-%EA%B1%B4-%EC%98%A legS%EC%a77181818181884,8184C.C.C4-EC4 %EC3%84 marc %A4%80%EC%9D%98-%EB%8D%B0%EC%9D%B4%ED%84%B0%EB%BF%90-%F0%9F%93%96-phi-1-Textbooks-Are-All-You-Need-%EB%85%BC%EB%AC%B8-%EB%A6%AC%EB%B7%B0 |
| Alpagasus: treinando uma alpaca melhor com menos dados | https://arxiv.org/abs/2307.08701 | Será carregado mais tarde! |
| LLAMA 2: Fundação aberta e modelos de bate-papo ajustados | https://arxiv.org/abs/2307.09288 | https://cartinoe5930.tistory.com/entry/the-opes-of-researchers-open-source-%f0%9f%A4%97- %EC%97%B0%EA%B5%CA%EC%9E%90%EB%93%A4%EC%9D%98%Ed%9D%CA%EB%A7%9D-Open-source-%F0%9F%A4%97 |
| Platypus: refinamento rápido, barato e poderoso de LLMS | https://arxiv.org/abs/2308.07317 | Será carregado mais tarde! |
| Código LLAMA: Modelos de base aberta para código | https://arxiv.org/abs/2308.12950 | Nenhum plano |
| FLM-101B: um LLM aberto e como treiná-lo com orçamento de US $ 100k | https://arxiv.org/pdf/2309.03852 | Sem plano! |
| Livros didáticos são tudo o que você precisa ii: Phi-1.5 Relatório Técnico | https://arxiv.org/abs/2309.05463 | https://huggingface.co/microsoft/phi-1_5 |
| OpenChat: Avançando modelos de idiomas de código aberto com dados de qualidade mista | https://arxiv.org/abs/2309.11235 | https://github.com/imoneoi/openchat |
| Mistral 7b | https://arxiv.org/abs/2310.06825 | https://mistral.ai/news/announcing-mistral-7b/ |
| Prometeu: Induzindo a capacidade de avaliação de granulação em modelos de linguagem | https://arxiv.org/abs/2310.08491 | https://huggingface.co/papers/2310.08491#652A8E7F30355BEBA68C1BE6 |
| Zephyr: destilação direta do alinhamento de LM | https://arxiv.org/abs/2310.16944 | https://www.youtube.com/watch?v=tkzbg3mksio |
| Orca2: ensinando modelos de idiomas pequenos como raciocinar | https://arxiv.org/abs/2311.11045 | https://www.microsoft.com/en-us/research/blog/orca-2-teaching-small-language-models-ow-to----reonom |
| A série Falcon de modelos de linguagem aberta | https://arxiv.org/abs/2311.16867 | Sem plano! |
| Solar 10.7b: Escalando grandes modelos de linguagem com profundidade simples, porém eficaz, escala | https://arxiv.org/abs/2312.15166 | Sem plano! |
| Título do papel | Link de papel ou site de referência | Revisão em papel |
|---|---|---|
| Lamda: modelos de idiomas para aplicativos de diálogo | Blog: https://ai.googleblog.com/2022/01/lamda-towards-safe-ground-and-high.html, artigo: https://arxiv.org/abs/2201.08239 | https://cartinoe5930.tistory.com/entry/%EA%B5%AC%EA%B8%80%EC%9D%98-%EC%B5%9C%EA%B0%95-%EC%B1 %EB %EB4C%87-Lamda%9790-d%B197777.b4 %87-lamda%9790-d%B197777187-lamda%9790-1eC1 bal %80%Ed%95%B4-%EC%95%8c%EC%95%84%EB%B3%B4%EC%9e%de 90 modelos-modelos para dialog-aplicações-%EB%EB 85%BC%EB%B8-B8-%A6%CA%EB%B7%b |
| Palm: escala de modelagem de linguagem com caminhos | Blog: https://ai.googleblog.com/2022/04/pathways-language-model-palm-scaling-to.html, papel: https://arxiv.org/abs/2204.02311 | 1: https://cartinoe5930.tistory.com/entry/lamda%EC%9D%98-%EB%92%A4%EB%A5%BC-%EC%9E%87%EB%8A%94-Pathways%Eb%a5 %9e%87%EB%8a%94-Pathways%eb%a5 99%9C%EC%9A%A9%Ed%95%9C-%EC%B4%88%EA%B1%B0%EB%8c%80%EC%96%B8%EC%96%B4%EB eb%aa aa a8 a8 eb%8d b8-pmm-palm-EB%A6%eb 2: https://cartinoe5930.tistory.com/entry/lamda%EC%9D%98-%EB%92%A4%EB%A5%BC-%EC%9E%87%EB%8A%94-Pathways%eb%a5 100 82%AC%EC%9A%A9%ED%95%9C-%EC%B4%88%EA%B1%B0%EB%8C%80-%EC%96%B8%EC%96%B4-%EB%AA%A8%EB%8D%B8-PaLM-%EB%A6%AC%EB%B7%B02 |
| GPT-4: Revisão Técnica | Blog: https://openai.com/research/gpt-4, artigo: https://arxiv.org/abs/2303.08774 | https://cartinoe5930.tistory.com/entry/gpt-4-techinal-report-review |
| Gêmeos: uma família de modelos multimodais altamente capazes | https://arxiv.org/abs/2312.11805 | Sem plano! |
| Relatório Técnico do Alphacode 2 | https://storage.googleapis.com/deepmind-media/alphacode2/alphacode2_tech_report.pdf | Sem plano! |
| Título do papel | Link de papel ou site de referência | Revisão em papel |
|---|---|---|
| Flan: Modelos de idiomas afinados são aprendizes de tiro zero | https://arxiv.org/abs/2109.01652 | https://cartinoe5930.tistory.com/entry/flan-fine-tuned-language-models-are-zero-shot-learners-%eb%85%BC%EB%AC%B8-%EB%A6AC marcante%EB%BC%B0 |
| T0: O treinamento solicitado por várias tarefas permite a generalização de tarefas zero tiro | https://arxiv.org/abs/2110.08207 | https://cartinoe5930.tistory.com/entry/t0-multitak-prompted-trening-enables-zero-shot-task-genorização-%eb%85%BC%EB%AC%B8-%EB%A6AC%EB%B7 B%EB%AC%B8-%EB%a6AC%EB%B7 B marca Porbc |
| Instruções super-naturais: generalização por meio de instruções declarativas em 1600+ tarefas de PNL | https://arxiv.org/abs/2204.07705 | https://cartinoe5930.tistory.com/entry/super-natural-instructions-generalization-vi-declarative-structions-on-1600-nlp-tasks-%EB%85%BC%EB%AC8- nlp-tasks-%EB%85%BC%EB |
| Instruções não naturais: Ajustando modelos de linguagem com (quase) não trabalho humano | https://arxiv.org/abs/2212.09689 | Será carregado mais tarde! |
| Adivinhe a instrução! O aprendizado invertido torna os modelos de idiomas mais fortes, alunos de tiro zero | https://arxiv.org/abs/2210.02969 | https://cartinoe5930.tistory.com/entry/guess-the-instruction-lipled-learning-makes-language-models-stronger-zero-shot-learners-%eb%85%BC%EB%AC%B8-%EB%a6AC%EB%85%BC%EB%AC%B8-%EB%A6AC marcha%EB%85%BC%EB%AC%B8-C8-%EB%A6AC marcha%EB%85%BC%EB%B%B8-C8-%EB%A6AC marcante nota |
| Modelos de linguagem de instrução de escala-finetunados | https://arxiv.org/abs/2210.11416 | https://cartinoe5930.tistory.com/entry/scaling-instruction-finetuned-language-models-%EB%85%BC%EB%AC%B8-%EB%A6%AC%EB%B7%B0 |
| Explorando os benefícios do treinamento de modelos de idiomas especializados sobre o ajuste das instruções | https://arxiv.org/abs/2302.03202 | https://cartinoe5930.tistory.com/entry/exploring-the-benefits-offritring-expert-language-models-over-instruction-tuning-%eb%85%BC%EB%AC%B8-%EB%A marcante%EBrig |
| ICIL: aprendizado de instrução no contexto | https://arxiv.org/abs/2302.14691 | https://cartinoe5930.tistory.com/entry/icil-in-context-instruction-learning-%eb%85%BC%EB%AC%B8-%EB%A6%AC%EB%B7%B0 |
| Ajuste de instrução com GPT-4 | https://arxiv.org/abs/2304.03277 | https://cartinoe5930.tistory.com/entry/instruction-tuning-with-gpt-4-%eb%85%BC%EB%AC%B8-%EB%A6AC%EB%B%B7%B0 |
| FIP: Parametrização de entrada fixa para promoção eficiente | https://aclanthology.org/2023.findings-acl.533.pdf | Será carregado mais tarde! |
| FLACuna: desencadeie o poder de resolução de problemas de Vicuna usando o ajuste fino da flan | https://arxiv.org/abs/2307.02053 | Será carregado mais tarde! |
| Talvez apenas 0,5% de dados sejam necessários: uma exploração preliminar de ajuste de instrução de dados de baixo treinamento | https://arxiv.org/abs/2305.09246 | Será carregado mais tarde! |
| Tornar-se auto-estrutura: introdução de critérios de parada antecipada para ajuste mínimo de instrução | https://arxiv.org/abs/2307.03692 | Será carregado mais tarde! |
| Título do papel | Link de papel ou site de referência | Revisão em papel |
|---|---|---|
| RLHF (Aprendizagem de reforço com o feedback humano) | https://huggingface.co/blog/rlhf | https://cartinoe5930.tistory.com/entry/%EC%82%AC%EB%9E%8C%EC%9D%98-%ED%94%BC%EB%93%9C%EB%B0%B1b1 %EC%9D%84 -%ed%86%b5%ed%95%9c-%ea%b0%95%ed%99%94%Ed%95%99%EC%8A%B5-reforço-learning-de-humano-feedback-rlHF |
| Modelos de idiomas em equipes vermelhas com modelos de idiomas | https://arxiv.org/abs/2202.03286 | https://cartinoe5930.tistory.com/entry/red-teaming-language-models-with-language-models-%eb%85%BC%EB%AC%B8-%EB%A6 %EB%B7 %B0 |
| InstructGPT: Treinando modelos de idiomas para seguir as instruções com feedback humano | https://arxiv.org/abs/2203.02155 | https://cartinoe5930.tistory.com/entry/instructgpt-trening-language-models-to-follow-structions-with-human-feedback-%eb%85%BC%EB%AC%B8-%EB%A6AC%EBrig %BC7 B%EB%AC%B8-%EB%A6AC%EB%EB%B7bc %EB%AC%B8-%EB%A6AC%EB%EB%B7B7 |
| Treinar um assistente útil e inofensivo com o aprendizado de reforço com o feedback humano | https://arxiv.org/abs/2204.05862 | https://cartinoe5930.tistory.com/entry/training-a-helpful-and-harmless-sistant-with-reinforcement-learning-from-human-feedback-%EB%85%BC%EB%AC%B8-%EB%a6AC%EB%85%BC%EB%AC%B8-%EB%A6AC marcante%85%bc%EB%AC%B8-%EB%A6AC marcha%EB%85%BC%EB%AC%B8-%EB%A6AC marcha%EB%85%BC%EB%C%B8-%EB%A6AC marcha%EB%85%BC%EB%C%B8-%EB%A6AC marcante nota |
| ALPACAFARM: Uma estrutura de simulação para métodos que aprendem com o feedback humano | https://arxiv.org/abs/2305.14387 | Será carregado mais tarde! |
| Quase: alinhando grandes modelos de linguagem através do feedback sintético | https://arxiv.org/abs/2305.13735 | https://cartinoe5930.tistory.com/entry/aligning-large-language-models-through-synthetic-feedback-%EB%85%BC%EB%AC%B8-%EB%A6COLAC%EB%B7 B%EB%B0 |
| Problemas abertos e limitações fundamentais do aprendizado de reforço com o feedback humano | https://arxiv.org/abs/2307.15217 | Será carregado mais tarde! |
| RLAIF: dimensionar o aprendizado de reforço com o feedback humano com feedback de IA | https://arxiv.org/abs/2309.00267 | Sem plano! |
| Steerlm: atributo condicionado sft como uma alternativa (de uso de usuário) ao RLHF | https://arxiv.org/abs/2310.05344 | Sem plano! |
| Helpsteer: conjunto de dados de ajuda multi-atributo | https://arxiv.org/abs/2311.09528 | Sem plano! |
| Título do papel | Link de papel ou site de referência | Revisão em papel |
|---|---|---|
| Adaptador: aprendizado com eficiência de parâmetro para PNL | https://arxiv.org/abs/1902.00751 | https://cartinoe5930.tistory.com/entry/%EB%8B%B9%EC%8B%A0%EB%8F%84-Fine-Tuning- %ED%95%A0-%EC%88%98-%EC%9E%88%EC%8A%B5%EB%8b%88%EB%8b%A4-With-PEFT-%F0%9F%A4%97 |
| Tuneamento de prefixos: otimizando instruções contínuas para geração | https://arxiv.org/abs/2101.00190 | https://cartinoe5930.tistory.com/entry/%EB%8B%B9%EC%8B%A0%EB%8F%84-Fine-Tuning- %ED%95%A0-%EC%88%98-%EC%9E%88%EC%8A%B5%EB%8b%88%EB%8b%A4-With-PEFT-%F0%9F%A4%97 |
| Lora: adaptação de baixo rank de grandes modelos de linguagem | https://arxiv.org/abs/2106.09685 | https://cartinoe5930.tistory.com/entry/%EB%8B%B9%EC%8B%A0%EB%8F%84-Fine-Tuning- %ED%95%A0-%EC%88%98-%EC%9E%88%EC%8A%B5%EB%8b%88%EB%8b%A4-With-PEFT-%F0%9F%A4%97 |
| Em direção a uma visão unificada do aprendizado de transferência eficiente em parâmetro | https://arxiv.org/abs/2110.04366 | Será carregado mais tarde! |
| Unipelt: uma estrutura unificada para ajuste de modelo de linguagem com eficiência de parâmetro | https://arxiv.org/abs/2110.07577 | Será carregado mais tarde! |
| (IA)^3: O ajuste fino com poucos eficientes de parâmetro é melhor e mais barato do que o aprendizado no contexto | https://arxiv.org/abs/2205.05638 | Será carregado mais tarde! |
| Qlora: ajuste fino eficiente de LLMs quantizados | https://arxiv.org/abs/2305.14314 | Será carregado mais tarde! |
| Empilhe mais camadas de maneira diferente: treinamento de alto rank através de atualizações de baixo rank | https://arxiv.org/abs/2307.05695 | Será carregado mais tarde! |
| Lorahub: generalização eficiente de tarefas cruzadas por composição dinâmica de Lora | https://arxiv.org/abs/2307.13269 | Será carregado mais tarde! |
| Título do papel | Link de papel ou site de referência | Revisão em papel |
|---|---|---|
| Mineração de instruções: Seleção de dados de instruções de alta qualidade para modelos de idiomas grandes | https://arxiv.org/abs/2307.06290 | Sem plano! |
| Soda: destilação de diálogo em escala de milhão com contextualização de senso comum social | https://arxiv.org/abs/2212.10465 | Sem plano! |
| Mods: Seleção de dados orientada para o modelo para ajuste de instrução | https://arxiv.org/abs/2311.15653 | Sem plano! |
| Além dos dados humanos: dimensionar o auto-treinamento para solução de problemas com modelos de linguagem | https://arxiv.org/abs/2312.06585 | Sem plano! |
| Magicoder: código -fonte é tudo o que você precisa | https://arxiv.org/abs/2312.02120 | Sem plano! |
| WaveCoder: Ajuste de instrução aprimorada e versátil com geração de dados refinada | https://arxiv.org/abs/2312.14187 | Sem plano! |
| O que faz bons dados para o alinhamento: um estudo abrangente da seleção automática de dados em ajuste de instrução | https://arxiv.org/abs/2312.15685 | Sem plano! |
| Título do papel | Link de papel ou site de referência | Revisão em papel |
|---|---|---|
| Qual é a 'engenharia imediata'? | Veja meu blog! | https://cartinoe5930.tistory.com/entry/prompt-engineering%ec%9d%B4-%EB%AC%B4%EC%97%87%EC%9D%BC%EA%B9%8C |
| BCA: Cadeia de pensamento provocando provas o raciocínio em grandes modelos de idiomas | Blog: https://ai.googleblog.com/2022/05/language-models-perform-reonomening-vi.html, artigo: https://arxiv.org/abs/2201.11903 | https://cartinoe5930.tistory.com/entry/lm%EC%9D%B4-%EC%82%AC%EB%9E%8C%EA%B3%BC-%EC%9C%Ad%EC%C0%EC0%EC0%CC-bal%EA%9D%EAd%Eagling%EC0%EC0%EC0%EC3 %EC3 %9C%EC%84%B8%EC%8A%A4%EB%A5%BC-%EA%B0%80%EC%A7%80%EA%B2%8C-%EB%90%9C%EB%8B%A4%EB%A9%B4-Chain-of-Thought-%EB%85%BC%EB%AC%B8-%EB%A6%AC%EB%B7%B0 |
| Berço de tiro zero: modelos de idiomas grandes são motivos de tiro zero | https://arxiv.org/abs/2205.11916 | https://cartinoe5930.tistory.com/entry/large-language-models-are-zo-shot-reasoners-%eb%85%BC%EB%AC%B8-%EB%A6AC%EB%B7b0 |
| Modelos de idiomas são raciocinadores multilíngues de cadeia de pensamento | https://arxiv.org/abs/2210.03057 | Será carregado mais tarde! |
| Auto-cot: cadeia automática de pensamento solicitando em grandes modelos de idiomas | https://arxiv.org/abs/2210.03493 | Será carregado mais tarde! |
| Cot KD: Ensinar pequenos modelos de idiomas à razão | https://arxiv.org/abs/2212.08410 | Será carregado mais tarde! |
| TOT: Tree of Thoughts: resolução deliberada de problemas com grandes modelos de linguagem | https://arxiv.org/abs/2305.10601 | https://cartinoe5930.tistory.com/entry/tree-of-thoughts-deliberate-problem-folving-with-targe-language-models-%eb%85%BC%EB%AC%B8-%EB%A6AC%EBrig %BC7 %EB%C%B8-%EB%A6AC%EB%EB%B7bc bal |
| A coleção de berços: melhorando o aprendizado zero e de poucos modelos de idiomas por meio de ajuste fina de cadeia de pensamento | https://arxiv.org/abs/2305.14045 | https://cartinoe5930.tistory.com/entry/cot-collection-improving-Zero-shot-and-few-shot-learning-of-language-models-via-chan-of-thought-fine balance-%EB%85%BC%EB %B1C7 %Ebin%Ebning-%EB%85%BC%EB %B1C7 %Ebin bala6aceb |
| Vamos verificar passo a passo | https://arxiv.org/abs/2305.20050 | https://cartinoe5930.tistory.com/entry/lets-verify-tep-by-step-%eb%85%BC%EB%AC%B8-%EB%a6%AC%EB%B7%B0 |
| Medir a fã no raciocínio da cadeia de pensamento | https://arxiv.org/abs/2307.13702 | Será carregado mais tarde! |
| SOT: esqueleto de pensamento: grandes modelos de idiomas podem fazer decodificação paralela | https://arxiv.org/abs/2307.15337 | Será carregado mais tarde! |
| Gráfico de pensamentos: resolvendo problemas elaborados com grandes modelos de linguagem | https://arxiv.org/abs/2308.09687 | Será carregado mais tarde! |
| De esparso a denso: resumo do GPT-4 com cadeia de densidade provocando | https://arxiv.org/abs/2309.04269 | Sem plano! |
| A cadeia de verificação ressalta a alucinação em grandes modelos de idiomas | https://arxiv.org/abs/2309.11495 | https://www.youtube.com/watch?v=l0zfjwregog&pp=ygugahr0chm6ly9hcnhpdi5vcmcvywjzlzizmdkumte0ot%3d |
| Cadeia de pensamento contrastante solicitando | https://arxiv.org/abs/2311.09277 | Sem plano! |
| Tópico de pensamento que desenrola contextos caóticos | https://arxiv.org/abs/2311.08734 | Sem plano! |
| Sistema 2 Atenção (é algo que você pode precisar também) | https://arxiv.org/abs/2311.11829 | Sem plano! |
| Cadeia de Código: Raciocínio com um emulador de código com modelo de modelo com modelo | https://arxiv.org/abs/2312.04474 | Sem plano! |
| Título do papel | Papel | Revisão em papel |
|---|---|---|
| Flashattion: atenção exata rápida e com eficiência de memória | https://arxiv.org/abs/2205.14135 | https://gordicaleksa.medium.com/eli5-flash-attion-5c44017022ad |
| Modelagem de linguagem exponencialmente mais rápida | https://arxiv.org/abs/2311.10770 | Sem plano! |
| LLM em um flash: inferência de modelo de linguagem grande eficiente com memória limitada | https://arxiv.org/abs/2312.11514 | Sem plano! |
| Título do papel | Link de papel ou site de referência | Revisão em papel |
|---|---|---|
| Aumentos de dados em PNL | blogs: https://neptune.ai/blog/data-augmentation-nlp, https://amitness.com/2020/05/data-augmentation-for-nlp/?fbclid=IwAR11MkccCti-2cD93RYftNPHb7Wxdj7AlZG7NNG4EhPaBkmiJkcBPtdl1eo | https://cartinoe5930.tistory.com/entry/data-augmentation-methods-innp |
| PET: Explorando as perguntas do cloze para poucas tiro de classificação de texto e inferência de linguagem natural | https://arxiv.org/abs/2001.07676 | https://cartinoe5930.tistory.com/entry/pet-exploiting-cloze-questions-for-few-shot-text-classification-e-natural-inference-inference-%EB%85%BC%EB%AC%B8-%EB%A6AC%EB%85%BC%EB%AC%B8-C8-%EB%A6AC marcha%EB%85%BC%EB%B%B8-C8-%EB%A6AC marcha%EB%85%BC%EB%EB%B8-C8-%EB%A6AC marca mão de graça |
| Caminhos | https://blog.google/technology/ai/introducting-pathways-next-generação-ai-architecture/ | https://cartinoe5930.tistory.com/entry/%EB%A7%8C%EC%95%BD-%EB%AA%A8%EB%8D%B8%EC%9D%B4-%EC%97®%EB%9F%C8F%EACO%90 %B4-%EC%9797 %EB%9F%C) B0%81%EC%9D%84-%EB%8A%90%EB%82%84-%EC%88%98-%EC%9e%88%ea%b2%8c-%eb%90%9c%eb%8b%a4 a4%a9%B |
| LMSI: Modelos de idiomas grandes podem se auto-melhorar | https://arxiv.org/abs/2210.11610 | https://cartinoe5930.tistory.com/entry/lmsi-large-language-models--nelf-improve-%eb%85%BC%EB%AC%B8-%EB%A6AC%EB%B7b0 |
| Auto-instrução: alinhando o modelo de linguagem com instrução auto-gerada | https://arxiv.org/abs/2212.10560 | https://cartinoe5930.tistory.com/entry/self-instruct-aligning-language-model-with-self-generated-structions-%eb%85%BC%EB%AC%B8-%EB%A6AC%EB%B7 B%EB%AC%B8-%EB%A6Ac |
| Reflexão: agentes de idiomas com aprendizado de reforço verbal | https://arxiv.org/abs/2303.11366 | https://cartinoe5930.tistory.com/entry/reflexion-language-agents-with-verbal-reinforcement-learning-%eb%85%BC%EB%AC%B8-%EB%A6AC%EB%B7b7B0 |
| Auto-refinado: refinamento iterativo com auto-feedback | https://arxiv.org/abs/2303.17651 | https://cartinoe5930.tistory.com/entry/self-refine-iterative-refinement-with-self-feedback-%eb%85%BC%EB%AC%B8-%EB%A6AC%EB%B7B0 |
| Refiner: Raciocínio feedback sobre representações intermediárias | https://arxiv.org/abs/2304.01904 | Sem plano! |
| Self-Eee: LLM de auto-revisão iterativa Excluído por geração de auto-feedback | https://kaistai.github.io/seasee/ | https://cartinoe5930.tistory.com/entry/selfiee-iterative-self-revising-llm-expowered-by-self-feedback-generation-%eb%85%BC%EB%AC%B8-%EB%A6AC%EB%EB %BC%BC |
| GQA: Treinando modelos generalizados de transformadores multi-query de pontos de verificação de várias cabeças | https://arxiv.org/abs/2305.13245 | https://aliissa99.medium.com/-a596e4d86f79 |
| Shpherd: um crítico para geração de modelos de idiomas | https://arxiv.org/abs/2308.04592 | Será carregado mais tarde! |
| Auto-alinhamento com instrução Backtranslation | https://arxiv.org/pdf/2308.06259 | Será carregado mais tarde! |
| Parafusos: uma estrutura modular para raciocínio com revisões | https://arxiv.org/pdf/2309.13075 | Sem plano! |
| Neftune: incorporações ruidosas melhoram a instrução FineUning | https://arxiv.org/abs/2310.05914 | https://cartinoe5930.tistory.com/entry/noise-makes-llm-better-nefune-%f0%9f%98%89 |
| Os modelos de idiomas são Super Mario; Habilidades absorventes de modelos homólogos como um almoço grátis | https://arxiv.org/abs/2311.03099 | Sem plano! |
| Loramoe: revolucionando a mistura de especialistas para manter o conhecimento mundial no alinhamento do modelo de linguagem | https://arxiv.org/abs/2312.09979 | Sem plano! |
| Título do papel | Link de papel ou site de referência | Revisão em papel |
|---|---|---|
| Geração de recuperação para recuperação para tarefas de PNL com uso intensivo de conhecimento | https://arxiv.org/abs/2005.11401 | Sem plano! |
| Auto-RAG: Aprendendo a recuperar, gerar e criticar através da auto-reflexão | https://arxiv.org/abs/2310.11511 | Sem plano! |
| Instructretro: Instrução Tuning Post Recuperação Pré-Trerendo | https://arxiv.org/abs/2310.07713 | Sem plano! |
| Geração de recuperação para recuperação para modelos de idiomas grandes: uma pesquisa | https://arxiv.org/abs/2312.10997 | Sem plano! |
| Título do papel | Link de papel ou site de referência | Revisão em papel |
|---|---|---|
| Hard: desafiar tarefas de grande banco e se a cadeia de pensamento pode resolver Tham | https://arxiv.org/abs/2210.09261 | Será carregado mais tarde! |
| Modelos de idiomas grandes não são avaliadores justos | https://arxiv.org/abs/2305.17926 | Será carregado mais tarde! |
| MT-BANCE: JULGA LLM-AS-A-JUDGE COM MT-BANCH | https://arxiv.org/abs/2306.05685 | Será carregado mais tarde! |
| InstructEval: Towards Holistic Evaluation of Instruction-Tuned Large Language Models | https://arxiv.org/abs/2306.04757 | Will be uploaded later! |
| FLASK: Fine-grained Language Model Evaluation based on Alignment Skill Sets | https://arxiv.org/abs/2307.10928 | Will be uploaded later! |
| GAIA: A Benchmark for General AI Assistants | https://arxiv.org/abs/2311.12983 | No plan! |
| Título do papel | Paper or reference site Link | Paper Review |
|---|---|---|
| A Length-Extrapolatable Transformer | https://arxiv.org/abs/2212.10554 | No plan! |
| Extending Context Window of Large Language Models via Positional Interpolation | https://arxiv.org/abs/2306.15595 | https://cartinoe5930.tistory.com/entry/LM%EC%9D%98-context-window-%EA%B8%B8%EC%96%B4%EC%95%BC-%ED%95%A0%EA%B9%8C-%EC%A7%A7%EC%95%84%EC%95%BC-%ED%95%A0%EA%B9%8C-%F0%9F%93%8F%F0%9F%A4%A8 |
| LongNet: Scaling Transformers to 1,000,000,000 Tokens | https://arxiv.org/abs/2307.02486 | https://cartinoe5930.tistory.com/entry/LM%EC%9D%98-context-window-%EA%B8%B8%EC%96%B4%EC%95%BC-%ED%95%A0%EA%B9%8C-%EC%A7%A7%EC%95%84%EC%95%BC-%ED%95%A0%EA%B9%8C-%F0%9F%93%8F%F0%9F%A4%A8 |
| Lost in the Middle: How Language Models Use Long Contexts | https://arxiv.org/abs/2307.03172 | https://cartinoe5930.tistory.com/entry/LM%EC%9D%98-context-window-%EA%B8%B8%EC%96%B4%EC%95%BC-%ED%95%A0%EA%B9%8C-%EC%A7%A7%EC%95%84%EC%95%BC-%ED%95%A0%EA%B9%8C-%F0%9F%93%8F%F0%9F%A4%A8 |
| YaRN: Efficient Context Window Extension of Large Language Models | https://arxiv.org/abs/2309.00071 | No plan! |
| Título do papel | Paper or reference site Link | Paper Review |
|---|---|---|
| Why can GPT learn in-context? | https://arxiv.org/abs/2212.10559 | https://cartinoe5930.tistory.com/entry/Why-can-GPT-learn-in-context-%EB%85%BC%EB%AC%B8-%EB%A6%AC%EB%B7%B0 |
| Sparks of Artificial General Intelligence: Early experiments with GPT-4 | paper: https://arxiv.org/abs/2303.12712, youtube: https://www.youtube.com/watch?v=Mqg3aTGNxZ0 | https://cartinoe5930.tistory.com/entry/Sparks-of-Artificial-General-Intelligence-Early-experiments-with-GPT-4-%EB%85%BC%EB%AC%B8-%EB%A6%AC%EB%B7%B0 |
| The False Promise of Imitating Proprietary LLMs | https://arxiv.org/abs/2305.15717 | https://cartinoe5930.tistory.com/entry/%EA%B8%B0%EC%A1%B4-imitation-model%EC%9D%80-%EC%9E%98%EB%AA%BB-%ED%95%99%EC%8A%B5%EB%90%98%EA%B3%A0-%EC%9E%88%EB%8B%A4-%F0%9F%AB%A2-The-False-Promise-of-Imitating-Proprietary-L |
| TULU: How Far Can Camels Go? Exploring the State of Instructiopn Tuning on Open Resources | https://arxiv.org/abs/2306.04751 | Will be uploaded later! |
| How Is ChatGPT's Behavior Changing over Time? | https://arxiv.org/abs/2307.09009 | https://cartinoe5930.tistory.com/entry/ChatGPT%EC%9D%98-%EC%84%B1%EB%8A%A5%EC%9D%B4-%EC%95%88-%EC%A2%8B%EC%95%84%EC%A7%80%EA%B3%A0-%EC%9E%88%EB%8B%A4%EA%B5%AC-%F0%9F%98%B2%F0%9F%98%B2 |
| Large Language Models Cannot Self-Correct Reasoning Yet | https://arxiv.org/abs/2310.01798 | |
| How Far Are Large Language Models from Agents with Theory-of-Mind | https://arxiv.org/pdf/2310.03051 | No plan! |
| Can LLMs Follow Simple Rules | https://arxiv.org/abs/2311.04235 | https://www.youtube.com/watch?v=CY6o43037OY |
| Camels in a Changing Climate; Enhancing LM Adaptation with Tulu 2 | https://arxiv.org/abs/2311.10702 | No plan! |
| ChatGPT's One-year Anniversary; Are Open-Source Large Language Models Catching up | https://arxiv.org/abs/2311.15653 | No plan! |
| An In-depth Look at Gemini's Language Abilities | https://arxiv.org/abs/2312.11444 | No plan! |
| Título do papel | Paper or reference site Link | Paper Review |
|---|---|---|
| DetectGPT: Zero-Shot Machine-Generated Text Detection using Probability Curvature | https://arxiv.org/abs/2301.11305 | https://cartinoe5930.tistory.com/entry/%EC%9D%B4-%EA%B8%80%EC%9D%B4-LM%EC%9D%B4-%EB%A7%8C%EB%93%A4%EC%96%B4%EB%82%B8-%EA%B8%80%EC%9D%BC%EA%B9%8C-%EB%8F%84%EC%99%80%EC%A4%98-DetectGPT-DetectGPT-Zero-Shot-Machine-Generated-Text-Detection-using-Probability-Curvature-%EB%85%BC%EB%AC%B8-%EB%A6%AC%EB%B7%B0 |
| Check Your Facts and Try Again: Improving Large Language Models with External Knowledge and Automated Feedback | https://arxiv.org/abs/2302.12813 | https://cartinoe5930.tistory.com/entry/ChatGPT%EC%9D%98-hallucination-%EC%96%B4%EB%96%BB%EA%B2%8C-%ED%95%B4%EA%B2%B0%ED%95%B4%EC%95%BC-%ED%95%A0%EA%B9%8C-Check-Your-Facts-and-Try-Again-Improving-Large-Language-Models-with-External-Knowledge-and-Automated-Feedback |
| RecurrentGPT: Interactive Generation of (Arbitrarily) Long Text | https://arxiv.org/abs/2305.13304 | https://cartinoe5930.tistory.com/entry/ChatGPT%EC%97%90-%EB%B0%98%EB%B3%B5-%EB%A9%94%EC%BB%A4%EB%8B%88%EC%A6%98LSTM%EC%9D%84-%EC%82%AC%EC%9A%A9%ED%95%9C%EB%8B%A4%EB%A9%B4-RecurrentGPT-Interactive-Generation-of-Arbitrarily-Long-Text-%EB%85%BC%EB%AC%B8-%EB%A6%AC%EB%B7%B0 |
| Large Language Models as Tool Makers | https://arxiv.org/abs/2305.17126 | https://cartinoe5930.tistory.com/entry/LM%EC%9D%B4-%EB%8F%84%EA%B5%AC%EB%A5%BC-%EC%82%AC%EC%9A%A9%ED%95%98%EA%B2%8C-%EB%90%9C%EB%8B%A4%EB%A9%B4-%F0%9F%94%AC-Large-Language-Models-as-Tool-Makers-%EB%85%BC%EB%AC%B8-%EB%A6%AC%EB%B7%B0 |
| LLM-Blender: Ensembling Large Language Models with Pairwise Ranking and Generative Fusion | https://arxiv.org/abs/2306.02561 | No plan! |
| Destilação de conhecimento de grandes modelos de linguagem | https://arxiv.org/abs/2306.08543 | https://cartinoe5930.tistory.com/entry/KD%EC%97%90-%EC%82%B4%EC%A7%9D%EC%9D%98-%EB%B3%80%ED%99%94%EB%A5%BC-%EC%A4%98%EB%B3%B4%EC%9E%90-%F0%9F%98%9C-Knowledge-Distillation-of-Large-Language-Models-%EB%85%BC%EB%AC%B8-%EB%A6%AC%EB%B7%B0 |
| Scaling Relationship on Learning Mathematical Reasoning with Large Language Models | https://arxiv.org/abs/2308.01825 | Will be uploaded later! |
| ToolLLM: Facilitating Lare Language Models to Master 16000+ Real-World APIs | https://arxiv.org/abs/2307.16789 | Will be uploaded later! |
| SelfCheck: Using LLMs to Zero-shot Check Their Own Step-by-Step Reasoning | https://arxiv.org/abs/2308.00436 | Will be uploaded later! |
| Solving Challenging Math Word Problems Using GPT-4 Code Interpreter with Code-based Self-Verification | https://arxiv.org/abs/2308.07921 | Will be uploaded later! |
| Large Language Models as Optimizers | https://arxiv.org/abs/2309.03409 | No plan! |
| FIAT: Fusing Learning Paradigms with Instruction-Accelerated Tuning | https://arxiv.org/abs/2309.04663 | https://www.youtube.com/watch?v=EZsZEcRDte0&pp=ygUgaHR0cHM6Ly9hcnhpdi5vcmcvYWJzLzIzMDkuMDQ2NjM%3D |
| Contrastive Decoding Improves Reasoning in Large Language Models | https://arxiv.org/abs/2309.09117 | https://www.youtube.com/watch?v=nMR56TkwC1Q&pp=ygUgaHR0cHM6Ly9hcnhpdi5vcmcvYWJzLzIzMDkuMDkxMTc%3D |
| Think before you speak: Training Language Models with Pause Tokens | https://arxiv.org/abs/2310.02226 | https://www.youtube.com/watch?v=MtJ1jacr_yI |
| Large Language Models Can Learn Rules | https://arxiv.org/abs/2310.07064 | No plan! |
| In-context Pretraining: Language Modeling Beyond Document Boundaries | https://arxiv.org/abs/2310.10638 | https://www.youtube.com/watch?v=GI-0lAaILrU |
| Learning From Mistakes Makes LLM Better Reasoner | https://arxiv.org/abs/2310.20689 | No plan! |
| Language Models can be Logical Solvers | https://arxiv.org/abs/2311.06158 | No plan! |
| MART: Improving LLM Safety with Multi-round Automatic Red-Teaming | https://arxiv.org/abs/2311.07689 | No plan! |
| Fine-tuning Language Models for Factuality | https://arxiv.org/abs/2311.08401 | No plan! |
| Positional Description Matters for Transformers Arithmetic | https://arxiv.org/abs/2311.14737 | No plan! |
| Weak-to-Strong Generalization: Eliciting Strong Capabilities with Weak Supervision | https://arxiv.org/abs/2312.09390 | https://openai.com/research/weak-to-strong-generalization |
| TinyGSM: achieving higher than 80 percentage on GSM8k with small language models | https://arxiv.org/abs/2312.09241 | No plan! |
| Título do papel | Paper or reference site Link | Paper Review |
|---|---|---|
| Morpheme-aware Subword Tokenizer: An Empirical Study of Tokenization Strategies for Various Korean NLP Tasks | https://arxiv.org/abs/2010.02534 | Will be uploaded later! |
| What Changes Can Large-scale Language Models Bring? Intensive Study on HyperCLOVA: Billions-scale Korean Generative Pretrained Transformers | https://arxiv.org/abs/2109.04650 | Will be uploaded later! |
| Título do papel | Paper or reference site Link | Paper Review |
|---|---|---|
| history of CNN | LeNet, AlexNet, VGGNet, GoogLeNet, ResNet, ResNeXt, Sception, Mobilenet, DenseNet, EfficientNet, ConvNext | https://cartinoe5930.tistory.com/entry/CNN-network%EC%9D%98-%EC%97%AD%EC%82%AC |
| ViT: An Image Worth 16 x 16 Words: Transformers for Image Recognition at Scale | https://arxiv.org/abs/2010.11929 | https://cartinoe5930.tistory.com/entry/ViT-An-Image-Worth-16-x-16-Words-Transformers-for-Image-Recognition-at-Scale |
| Swin Transformer: Hierarchical Vision Transformer using Shifted Winodws | https://arxiv.org/abs/2103.14030 | https://cartinoe5930.tistory.com/entry/Swin-Transformer-Hierarchical-Vision-Transformer-using-Shifted-Windows-%EB%85%BC%EB%AC%B8-%EB%A6%AC%EB%B7%B0 |
| CLIP: Learning Transferable Visual Models From Natural Language Supervision | https://arxiv.org/abs/2103.00020 | https://cartinoe5930.tistory.com/entry/CLIP-Learning-Transferable-Visual-Models-From-Natural-Language-Supervision-%EB%85%BC%EB%AC%B8-%EB%A6%AC%EB%B7%B0 |
| Título do papel | Paper or reference site Link | Paper Review |
|---|---|---|
| Let's learn about VLM(Visual-Language Model) | https://huggingface.co/blog/vision_language_pretraining#supporting-vision-language-models-in-%F0%9F%A4%97-transformers | https://cartinoe5930.tistory.com/entry/VLMVision-Language-Model%EC%97%90-%EB%8C%80%ED%95%B4-%EC%95%8C%EC%95%84%EB%B3%B4%EC%9E%90 |
| VisualBERT: A simple and Performant Baseline for Vision and Language | https://arxiv.org/abs/1908.03557 | https://cartinoe5930.tistory.com/entry/VisualBERT-A-Simple-and-Performant-Baseline-for-Vision-and-Language-%EB%85%BC%EB%AC%B8-%EB%A6%AC%EB%B7%B0 |
| ViLBERT: Pre-training Task-Agnostic Visiolinguistic Representations for Visual-and-Language Tasks | https://arxiv.org/abs/1908.02265 | https://cartinoe5930.tistory.com/entry/ViLBERT-Pretraining-Task-Agnostic-Visiolinguistic-Representations-for-Visual-and-Language-Tasks |
| LXMERT: Learning Cross-Modality Encoder Representations from Transformers | https://arxiv.org/abs/1908.07490 | https://cartinoe5930.tistory.com/entry/LXMERT-Learning-Cross-Modality-Encoder-Representations-from-Transformers-%EB%85%BC%EB%AC%B8-%EB%A6%AC%EB%B7%B0 |
| VL-BERT: Pre-training of Generic Visual-Linguistic Representations | https://arxiv.org/abs/1908.08530 | https://cartinoe5930.tistory.com/entry/VL-BERT-Pre-training-of-Generic-Visual-Linguistic-Representations-%EB%85%BC%EB%AC%B8-%EB%A6%AC%EB%B7%B0 |
| VLP: Unified Vision-Language Pre-Training for Image Captioning and VQA | https://arxiv.org/abs/1909.11059 | https://cartinoe5930.tistory.com/entry/VLP-Unified-Vision-Language-Pre-Traning-for-Image-Captioning-and-VQA-%EB%85%BC%EB%AC%B8-%EB%A6%AC%EB%B7%B0 |
| Oscar: Object-Semantics Aligned Pre-training for Vision-Language Tasks | https://arxiv.org/abs/2004.06165 | https://cartinoe5930.tistory.com/entry/Oscar-Object-Semantics-Aligned-Pre-training-for-Vision-Language-Tasks-%EB%85%BC%EB%AC%B8-%EB%A6%AC%EB%B7%B0 |
| VinVL: Revisiting Visual Representations in Vision-Language Models | https://arxiv.org/abs/2101.00529 | https://cartinoe5930.tistory.com/entry/VinVL-Revisiting-Visual-Representations-in-Vision-Language-Models-%EB%85%BC%EB%AC%B8-%EB%A6%AC%EB%B7%B0 |
| ViLT: Vision-and-Language Transformer Without Convolution or Region Supervision | https://arxiv.org/abs/2102.03334 | https://cartinoe5930.tistory.com/entry/ViLT-Vision-and-Language-Transformer-Without-Convolution-or-Region-Supervision-%EB%85%BC%EB%AC%B8-%EB%A6%AC%EB%B7%B0 |
| ALIGN: Scaling Up Visual and Vision-Language Representation Learning With Noisy Text Supervision | https://arxiv.org/abs/2102.05918 | https://cartinoe5930.tistory.com/entry/ALIGN-Scaling-up-Visual-and-Vision-Language-Representation-with-Noisy-Text-Supervision-%EB%85%BC%EB%AC%B8-%EB%A6%AC%EB%B7%B0 |
| ALBEF: Vision and Language Representation Learning with Momentum Distillation | https://arxiv.org/abs/2107.07651 | https://cartinoe5930.tistory.com/entry/ALBEF-Vision-and-Language-Representation-Learning-with-Momentum-Distillation-%EB%85%BC%EB%AC%B8 |
| SimVLM: Simple Visual Language Model Pretraining with Weak Supervision | https://arxiv.org/abs/2108.10904 | https://cartinoe5930.tistory.com/entry/SimVLM-Simple-Visual-Language-Model-Pre-training-with-Weak-Supervision-%EB%85%BC%EB%AC%B8-%EB%A6%AC%EB%B7%B0 |
| VLMo: Unified Vision-Language Pre-training with Mixture-of-Modality-Experts | https://arxiv.org/abs/2111.02358 | https://cartinoe5930.tistory.com/entry/VLMo-Unified-Vision-Language-Pre-training-with-Mixture-of-Modality-Experts-%EB%85%BC%EB%AC%B8-%EB%A6%AC%EB%B7%B0 |
| LiT : Zero-Shot Transfer with Locked-image text Tuning | https://arxiv.org/abs/2111.07991 | https://cartinoe5930.tistory.com/entry/LiT%F0%9F%94%A5-Zero-Shot-Transfer-with-Locked-image-text-Tuning-%EB%85%BC%EB%AC%B8-%EB%A6%AC%EB%B7%B0 |
| FLAVA: A Foundational Language And Vision Alignment Model | https://arxiv.org/abs/2112.04482 | https://cartinoe5930.tistory.com/entry/FLAVA-A-Foundational-Language-And-Vision-Alignment-Model-%EB%85%BC%EB%AC%B8-%EB%A6%AC%EB%B7%B0 |
| BLIP: Bootstrapping Language-Image Pre-training for Unified Vision-Language Understanding and Generation | https://arxiv.org/abs/2201.12086 | https://cartinoe5930.tistory.com/entry/BLIP-Bootstrapping-Language-Image-Pre-training-fro-Unified-Vision-Language-Understanding-and-Generation-%EB%85%BC%EB%AC%B8-%EB%A6%AC%EB%B7%B0 |
| Paper or Posting Title | reference site Link | Análise |
|---|---|---|
| Knowledge Distillation: Distilling the Knowledge in a Neural Network | https://arxiv.org/abs/1503.02531 | https://cartinoe5930.tistory.com/entry/Distilling-the-Knowledge-in-a-Neural-Network-%EB%85%BC%EB%AC%B8-%EB%A6%AC%EB%B7%B0 |
| What is Zero-shot, One-shot, Few-shot Learning? | see my blog! | https://cartinoe5930.tistory.com/entry/Zero-shot-One-shot-Few-shot-Learning%EC%9D%B4-%EB%AC%B4%EC%97%87%EC%9D%BC%EA%B9%8C |
