alreadyme ai research

Já é

Gerar readme.md com o GPT-3 de aprendizado

---

Introdução

A pesquisa já-AI-AI é um projeto essencial para gerar README.md a partir de códigos de origem em qualquer repositório. O modelo AI lê algumas partes dos códigos de origem e escreve um documento README.md correspondente. Atualmente, a equipe já está fornecendo um serviço sobre esse recurso e você pode encontrar nossos resultados nesta página.

Este repositório contém vários subprojetos. Você pode ver as descrições detalhadas nos diretórios.

• Preparação de dados : o fonte codifica para a preparação de um conjunto de dados de trem.
• Modelo-Finetuning : Como ajustar modelos de linguagem em larga escala com eficiência.
• Geração da frase : maneira eficiente e escalável de gerar frases para porção de modelos.

Como funciona?

Como os modelos em larga escala como o GPT-3 mostraram, o aprendizado de poucos tiros é a chave mais importante para a construção do modelo de linguagem generalizada. Eles podem entender o que deveriam escrever de acordo com os exemplos de prompt e poucos anos anteriores. Usando esses recursos, eles podem fazer quase qualquer coisa sem ajuste fino. Eles podem resumir as notícias, responder às perguntas e até conversar!

O OpenAI Codex introduziu um novo modelo Langauge em larga escala para linguagens de programação por GPT-3 de ajuste fino. Agora, podemos esperar o desempenho generalizado (aprendizado de poucos tiros) nas linguagens de programação. Por exemplo, crie um documento do código -fonte, escreva um novo código da descrição (e é assim que o copilot funciona) e traduz do Python para o Java.

Usamos o Bloom, que é para ciência aberta e acesso aberto do modelo de linguagem em larga escala. A Bloom suporta multilíngue, que não são apenas linguagens naturais, mas também as linguagens de programação. Projetamos modelos rápidos e encontramos a melhor versão deles.

 &&&&&&
$ head -n 30 model-finetuning/src/data.py
from __future__ import annotations

from dataclasses import dataclass

import torch
[...]

&&&&&&
$ head -n 37 model-finetuning/src/train.py
from __future__ import annotations

import argparse
import os
[...]

&&&&&&
$ git config --get remote.origin.url
https://github.com/readme-generator/alreadyme-ai-research.git

&&&&&&
$ cat README.md
[...]

Todos os exemplos serão separados por &&&&&& . Projetamos para fazer Bloom para executar (ou simular) o comando Linux Bash. A Bloom lerá algumas partes dos códigos de origem do prompt fornecido e gerará um arquivo README.md adequado.

Para mais detalhes, consulte o nosso subprojeto de modelo-finerunamento .

Licença

A pesquisa já-AI-AI é lançada sob a licença Apache 2.0. A licença pode ser encontrada aqui.

Citações

 @misc { https://doi.org/10.48550/arxiv.2005.14165 ,
	title        = { Language Models are Few-Shot Learners } ,
	author       = { Brown, Tom B. and Mann, Benjamin and Ryder, Nick and Subbiah, Melanie and Kaplan, Jared and Dhariwal, Prafulla and Neelakantan, Arvind and Shyam, Pranav and Sastry, Girish and Askell, Amanda and Agarwal, Sandhini and Herbert-Voss, Ariel and Krueger, Gretchen and Henighan, Tom and Child, Rewon and Ramesh, Aditya and Ziegler, Daniel M. and Wu, Jeffrey and Winter, Clemens and Hesse, Christopher and Chen, Mark and Sigler, Eric and Litwin, Mateusz and Gray, Scott and Chess, Benjamin and Clark, Jack and Berner, Christopher and McCandlish, Sam and Radford, Alec and Sutskever, Ilya and Amodei, Dario } ,
	year         = 2020 ,
	publisher    = { arXiv } ,
	doi          = { 10.48550/ARXIV.2005.14165 } ,
	url          = { https://arxiv.org/abs/2005.14165 } ,
	copyright    = { arXiv.org perpetual, non-exclusive license } ,
	keywords     = { Computation and Language (cs.CL), FOS: Computer and information sciences, FOS: Computer and information sciences }
}

 @misc { https://doi.org/10.48550/arxiv.2107.03374 ,
	title        = { Evaluating Large Language Models Trained on Code } ,
	author       = {Chen, Mark and Tworek, Jerry and Jun, Heewoo and Yuan, Qiming and Pinto, Henrique Ponde de Oliveira and Kaplan, Jared and Edwards, Harri and Burda, Yuri and Joseph, Nicholas and Brockman, Greg and Ray, Alex and Puri, Raul and Krueger, Gretchen and Petrov, Michael and Khlaaf, Heidy and Sastry, Girish and Mishkin, Pamela and Chan, Brooke and Gray, Scott and Ryder, Nick and Pavlov, Mikhail and Power, Alethea and Kaiser, Lukasz and Bavarian, Mohammad and Winter, Clemens and Tillet, Philippe and Such, Felipe Petroski and Cummings, Dave and Plappert, Matthias and Chantzis, Fotios and Barnes, Elizabeth and Herbert-Voss, Ariel and Guss, William Hebgen and Nichol, Alex and Paino, Alex and Tezak, Nikolas and Tang, Jie and Babuschkin, Igor and Balaji, Suchir and Jain, Shantanu and Saunders, William and Hesse, Christopher and Carr, Andrew N. and Leike, Jan and Achiam, Josh and Misra, Vedant and Morikawa, Evan and Radford, Alec and Knight, Matthew and Brundage, Miles and Murati, Mira and Mayer, Katie and Welinder, Peter and McGrew, Bob and Amodei, Dario and McCandlish, Sam and Sutskever, Ilya and Zaremba, Wojciech},
	year         = 2021 ,
	publisher    = { arXiv } ,
	doi          = { 10.48550/ARXIV.2107.03374 } ,
	url          = { https://arxiv.org/abs/2107.03374 } ,
	copyright    = { arXiv.org perpetual, non-exclusive license } ,
	keywords     = { Machine Learning (cs.LG), FOS: Computer and information sciences, FOS: Computer and information sciences }
}

 @misc { https://doi.org/10.48550/arxiv.2106.09685 ,
	title        = { LoRA: Low-Rank Adaptation of Large Language Models } ,
	author       = { Hu, Edward J. and Shen, Yelong and Wallis, Phillip and Allen-Zhu, Zeyuan and Li, Yuanzhi and Wang, Shean and Wang, Lu and Chen, Weizhu } ,
	year         = 2021 ,
	publisher    = { arXiv } ,
	doi          = { 10.48550/ARXIV.2106.09685 } ,
	url          = { https://arxiv.org/abs/2106.09685 } ,
	copyright    = { arXiv.org perpetual, non-exclusive license } ,
	keywords     = { Computation and Language (cs.CL), Artificial Intelligence (cs.AI), Machine Learning (cs.LG), FOS: Computer and information sciences, FOS: Computer and information sciences }
}

 @misc { bigscience_2022 ,
	title        = { Bigscience large open-science openaccess multilingual language model. } ,
	author       = { BigScience } ,
	year         = 2022 ,
	journal      = { bigscience/bloom · Hugging Face } ,
	url          = { https://huggingface.co/bigscience/bloom }
}