alreadyme ai research

Ya meMe.md AI Research

Genere ReadMe.md con GPT-3 Aprendizaje de pocos disparos

---

Introducción

YaMe-AI-Research es un proyecto central para generar README.md a partir de los códigos de origen en cualquier repositorio. El modelo AI lee algunas partes de los códigos de origen y escribe un documento README.md correspondiente. El equipo de AMOME.MD actualmente brinda un servicio sobre esta función, y puede encontrar nuestros resultados en esta página.

Este repositorio contiene varios subproyectos. Puede ver las descripciones detalladas en los directorios.

• Preparación de datos : los códigos de origen para preparar un conjunto de datos de trenes.
• Modelo-Finetuning : cómo ajustar los modelos de lenguaje a gran escala de manera eficiente.
• Generación de oraciones : forma eficiente y escalable de generar oraciones para la porción del modelo.

¿Cómo funciona?

Como han demostrado los modelos a gran escala como GPT-3, el aprendizaje de pocos disparos es la clave más importante para construir el modelo de idioma generalizado. Pueden entender lo que deberían tener que escribir de acuerdo con los ejemplos anteriores y pocos disparos. Usando estas características, pueden hacer casi cualquier cosa sin ajustar. ¡Pueden resumir las noticias, responder las preguntas e incluso conversar!

OpenAI Codex introdujo el nuevo modelo Langauge a gran escala para lenguajes de programación mediante el ajuste GPT-3. Ahora podemos esperar el rendimiento generalizado (aprendizaje de pocos disparos) en los lenguajes de programación. Por ejemplo, cree un documento desde el código fuente, escriba un nuevo código a partir de la descripción (y así es como funciona el copilot) y traduce de Python a Java.

Utilizamos Bloom, que es para la ciencia abierta y el acceso abierto del modelo de lenguaje a gran escala. Bloom admite multilingüe que no son solo idiomas naturales, sino también los lenguajes de programación. Diseñamos plantillas de inmediato y encontramos la mejor versión de ellas.

 &&&&&&
$ head -n 30 model-finetuning/src/data.py
from __future__ import annotations

from dataclasses import dataclass

import torch
[...]

&&&&&&
$ head -n 37 model-finetuning/src/train.py
from __future__ import annotations

import argparse
import os
[...]

&&&&&&
$ git config --get remote.origin.url
https://github.com/readme-generator/alreadyme-ai-research.git

&&&&&&
$ cat README.md
[...]

Todos los ejemplos estarán separados por &&&&&& . Diseñamos para hacer Bloom para realizar (o simular) el comando Linux Bash. Bloom leerá algunas partes de los códigos de origen del aviso dado y generará un archivo README.md adecuado.

Para obtener más detalles, consulte nuestro subproyecto de modelo de finalización de modelos .

Licencia

YaMe-AI-Research se publica bajo la licencia Apache 2.0. La licencia se puede encontrar aquí.

Citas

 @misc { https://doi.org/10.48550/arxiv.2005.14165 ,
	title        = { Language Models are Few-Shot Learners } ,
	author       = { Brown, Tom B. and Mann, Benjamin and Ryder, Nick and Subbiah, Melanie and Kaplan, Jared and Dhariwal, Prafulla and Neelakantan, Arvind and Shyam, Pranav and Sastry, Girish and Askell, Amanda and Agarwal, Sandhini and Herbert-Voss, Ariel and Krueger, Gretchen and Henighan, Tom and Child, Rewon and Ramesh, Aditya and Ziegler, Daniel M. and Wu, Jeffrey and Winter, Clemens and Hesse, Christopher and Chen, Mark and Sigler, Eric and Litwin, Mateusz and Gray, Scott and Chess, Benjamin and Clark, Jack and Berner, Christopher and McCandlish, Sam and Radford, Alec and Sutskever, Ilya and Amodei, Dario } ,
	year         = 2020 ,
	publisher    = { arXiv } ,
	doi          = { 10.48550/ARXIV.2005.14165 } ,
	url          = { https://arxiv.org/abs/2005.14165 } ,
	copyright    = { arXiv.org perpetual, non-exclusive license } ,
	keywords     = { Computation and Language (cs.CL), FOS: Computer and information sciences, FOS: Computer and information sciences }
}

 @misc { https://doi.org/10.48550/arxiv.2107.03374 ,
	title        = { Evaluating Large Language Models Trained on Code } ,
	author       = {Chen, Mark and Tworek, Jerry and Jun, Heewoo and Yuan, Qiming and Pinto, Henrique Ponde de Oliveira and Kaplan, Jared and Edwards, Harri and Burda, Yuri and Joseph, Nicholas and Brockman, Greg and Ray, Alex and Puri, Raul and Krueger, Gretchen and Petrov, Michael and Khlaaf, Heidy and Sastry, Girish and Mishkin, Pamela and Chan, Brooke and Gray, Scott and Ryder, Nick and Pavlov, Mikhail and Power, Alethea and Kaiser, Lukasz and Bavarian, Mohammad and Winter, Clemens and Tillet, Philippe and Such, Felipe Petroski and Cummings, Dave and Plappert, Matthias and Chantzis, Fotios and Barnes, Elizabeth and Herbert-Voss, Ariel and Guss, William Hebgen and Nichol, Alex and Paino, Alex and Tezak, Nikolas and Tang, Jie and Babuschkin, Igor and Balaji, Suchir and Jain, Shantanu and Saunders, William and Hesse, Christopher and Carr, Andrew N. and Leike, Jan and Achiam, Josh and Misra, Vedant and Morikawa, Evan and Radford, Alec and Knight, Matthew and Brundage, Miles and Murati, Mira and Mayer, Katie and Welinder, Peter and McGrew, Bob and Amodei, Dario and McCandlish, Sam and Sutskever, Ilya and Zaremba, Wojciech},
	year         = 2021 ,
	publisher    = { arXiv } ,
	doi          = { 10.48550/ARXIV.2107.03374 } ,
	url          = { https://arxiv.org/abs/2107.03374 } ,
	copyright    = { arXiv.org perpetual, non-exclusive license } ,
	keywords     = { Machine Learning (cs.LG), FOS: Computer and information sciences, FOS: Computer and information sciences }
}

 @misc { https://doi.org/10.48550/arxiv.2106.09685 ,
	title        = { LoRA: Low-Rank Adaptation of Large Language Models } ,
	author       = { Hu, Edward J. and Shen, Yelong and Wallis, Phillip and Allen-Zhu, Zeyuan and Li, Yuanzhi and Wang, Shean and Wang, Lu and Chen, Weizhu } ,
	year         = 2021 ,
	publisher    = { arXiv } ,
	doi          = { 10.48550/ARXIV.2106.09685 } ,
	url          = { https://arxiv.org/abs/2106.09685 } ,
	copyright    = { arXiv.org perpetual, non-exclusive license } ,
	keywords     = { Computation and Language (cs.CL), Artificial Intelligence (cs.AI), Machine Learning (cs.LG), FOS: Computer and information sciences, FOS: Computer and information sciences }
}

 @misc { bigscience_2022 ,
	title        = { Bigscience large open-science openaccess multilingual language model. } ,
	author       = { BigScience } ,
	year         = 2022 ,
	journal      = { bigscience/bloom · Hugging Face } ,
	url          = { https://huggingface.co/bigscience/bloom }
}