alreadyme ai research
1.0.0
Générer readme.md avec un apprentissage à quelques coups GPT-3
déjàme-AI-Research est un projet de base pour générer README.md à partir des codes source dans n'importe quel référentiel. Le modèle AI lit certaines parties des codes source et rédige un document README.md correspondant. L'équipe SomeMe.MD fournit actuellement un service sur cette fonctionnalité, et vous pouvez trouver nos résultats sur cette page.
Ce référentiel contient plusieurs sous-projets. Vous pouvez voir les descriptions détaillées dans les répertoires.
Comme l'ont montré les modèles à grande échelle comme GPT-3, l'apprentissage à quelques coups est la clé la plus importante pour construire le modèle de langue généralisé. Ils peuvent comprendre ce qu'ils devraient avoir à écrire en fonction de l'invite précédente et des exemples à quelques coups. En utilisant ces fonctionnalités, ils peuvent faire presque n'importe quoi sans réglage fin. Ils peuvent résumer les nouvelles, répondre aux questions et même faire une conversation!
OpenAI Codex a introduit un nouveau modèle Langauge à grande échelle pour les langages de programmation en réglant GPT-3. Maintenant, nous pouvons nous attendre à la performance généralisée (apprentissage à faible coup) sur les langages de programmation. Par exemple, créez un docstring à partir du code source, écrivez un nouveau code à partir de la description (et c'est ainsi que Copilot fonctionne) et traduit de Python en Java.
Nous utilisons Bloom qui est pour la science ouverte et l'accès ouvert du modèle de langue à grande échelle. Bloom prend en charge multilingue qui sont non seulement des langages naturels, mais aussi les langages de programmation. Nous avons conçu des modèles rapides et en avons trouvé la meilleure version d'entre eux.
&&&&&&
$ head -n 30 model-finetuning/src/data.py
from __future__ import annotations
from dataclasses import dataclass
import torch
[...]
&&&&&&
$ head -n 37 model-finetuning/src/train.py
from __future__ import annotations
import argparse
import os
[...]
&&&&&&
$ git config --get remote.origin.url
https://github.com/readme-generator/alreadyme-ai-research.git
&&&&&&
$ cat README.md
[...]
Tous les exemples seront séparés par &&&&&& . Nous avons conçu pour faire une floraison pour effectuer (ou simuler) la commande Linux Bash. Bloom lira certaines parties des codes source à partir de l'invite donnée et générera un fichier README.md approprié.
Pour plus de détails, consultez notre sous-projet Model-Finetuning .
déjà la recherche est publiée sous la licence APache 2.0. La licence peut être trouvée ici.
@misc { https://doi.org/10.48550/arxiv.2005.14165 ,
title = { Language Models are Few-Shot Learners } ,
author = { Brown, Tom B. and Mann, Benjamin and Ryder, Nick and Subbiah, Melanie and Kaplan, Jared and Dhariwal, Prafulla and Neelakantan, Arvind and Shyam, Pranav and Sastry, Girish and Askell, Amanda and Agarwal, Sandhini and Herbert-Voss, Ariel and Krueger, Gretchen and Henighan, Tom and Child, Rewon and Ramesh, Aditya and Ziegler, Daniel M. and Wu, Jeffrey and Winter, Clemens and Hesse, Christopher and Chen, Mark and Sigler, Eric and Litwin, Mateusz and Gray, Scott and Chess, Benjamin and Clark, Jack and Berner, Christopher and McCandlish, Sam and Radford, Alec and Sutskever, Ilya and Amodei, Dario } ,
year = 2020 ,
publisher = { arXiv } ,
doi = { 10.48550/ARXIV.2005.14165 } ,
url = { https://arxiv.org/abs/2005.14165 } ,
copyright = { arXiv.org perpetual, non-exclusive license } ,
keywords = { Computation and Language (cs.CL), FOS: Computer and information sciences, FOS: Computer and information sciences }
} @misc { https://doi.org/10.48550/arxiv.2107.03374 ,
title = { Evaluating Large Language Models Trained on Code } ,
author = {Chen, Mark and Tworek, Jerry and Jun, Heewoo and Yuan, Qiming and Pinto, Henrique Ponde de Oliveira and Kaplan, Jared and Edwards, Harri and Burda, Yuri and Joseph, Nicholas and Brockman, Greg and Ray, Alex and Puri, Raul and Krueger, Gretchen and Petrov, Michael and Khlaaf, Heidy and Sastry, Girish and Mishkin, Pamela and Chan, Brooke and Gray, Scott and Ryder, Nick and Pavlov, Mikhail and Power, Alethea and Kaiser, Lukasz and Bavarian, Mohammad and Winter, Clemens and Tillet, Philippe and Such, Felipe Petroski and Cummings, Dave and Plappert, Matthias and Chantzis, Fotios and Barnes, Elizabeth and Herbert-Voss, Ariel and Guss, William Hebgen and Nichol, Alex and Paino, Alex and Tezak, Nikolas and Tang, Jie and Babuschkin, Igor and Balaji, Suchir and Jain, Shantanu and Saunders, William and Hesse, Christopher and Carr, Andrew N. and Leike, Jan and Achiam, Josh and Misra, Vedant and Morikawa, Evan and Radford, Alec and Knight, Matthew and Brundage, Miles and Murati, Mira and Mayer, Katie and Welinder, Peter and McGrew, Bob and Amodei, Dario and McCandlish, Sam and Sutskever, Ilya and Zaremba, Wojciech},
year = 2021 ,
publisher = { arXiv } ,
doi = { 10.48550/ARXIV.2107.03374 } ,
url = { https://arxiv.org/abs/2107.03374 } ,
copyright = { arXiv.org perpetual, non-exclusive license } ,
keywords = { Machine Learning (cs.LG), FOS: Computer and information sciences, FOS: Computer and information sciences }
} @misc { https://doi.org/10.48550/arxiv.2106.09685 ,
title = { LoRA: Low-Rank Adaptation of Large Language Models } ,
author = { Hu, Edward J. and Shen, Yelong and Wallis, Phillip and Allen-Zhu, Zeyuan and Li, Yuanzhi and Wang, Shean and Wang, Lu and Chen, Weizhu } ,
year = 2021 ,
publisher = { arXiv } ,
doi = { 10.48550/ARXIV.2106.09685 } ,
url = { https://arxiv.org/abs/2106.09685 } ,
copyright = { arXiv.org perpetual, non-exclusive license } ,
keywords = { Computation and Language (cs.CL), Artificial Intelligence (cs.AI), Machine Learning (cs.LG), FOS: Computer and information sciences, FOS: Computer and information sciences }
} @misc { bigscience_2022 ,
title = { Bigscience large open-science openaccess multilingual language model. } ,
author = { BigScience } ,
year = 2022 ,
journal = { bigscience/bloom · Hugging Face } ,
url = { https://huggingface.co/bigscience/bloom }
}
