alreadyme ai research
1.0.0
Generieren Sie Readme.md mit GPT-3-Lernen mit wenigen Schüssen
FaceMe-AI-Research ist ein Kernprojekt zum Generieren von README.md aus Quellcodes in jedem Repository. Das KI -Modell liest einige Teile der Quellcodes und schreibt ein entsprechendes README.md -Dokument. Das bereitsMe.MD -Team bietet derzeit einen Service zu dieser Funktion und finden Sie unsere Ergebnisse auf dieser Seite.
Dieses Repository enthält mehrere Unterprojekte. Sie können die detaillierten Beschreibungen in den Verzeichnissen sehen.
Wie die groß angelegten Modelle wie GPT-3 gezeigt haben, ist nur wenige Schusslernen der wichtigste Schlüssel zum Aufbau des verallgemeinerten Sprachmodells. Sie können verstehen, was sie nach der vorherigen Aufforderung und wenigen Beispielen schreiben müssen. Mit diesen Funktionen können sie fast alles ohne Feinabstimmung tun. Sie können die Nachrichten zusammenfassen, die Fragen beantworten und sogar ein Gespräch führen!
OpenAI Codex führte ein neues großes Langauge-Modell für Programmiersprachen durch Feinabstimmung GPT-3 ein. Jetzt können wir die generalisierte Leistung (wenige Lernen) in den Programmiersprachen erwarten. Erstellen Sie beispielsweise einen Dokument aus dem Quellcode, schreiben Sie neuen Code aus der Beschreibung (und so funktioniert Copilot) und übersetzen Sie von Python in Java.
Wir verwenden Bloom, das für offene Wissenschaft und offenes Sprachmodell vorhanden ist. Bloom unterstützt mehrsprachige, die nicht nur natürliche Sprachen, sondern auch die Programmiersprachen sind. Wir haben schnelle Vorlagen entworfen und die beste Version von ihnen gefunden.
&&&&&&
$ head -n 30 model-finetuning/src/data.py
from __future__ import annotations
from dataclasses import dataclass
import torch
[...]
&&&&&&
$ head -n 37 model-finetuning/src/train.py
from __future__ import annotations
import argparse
import os
[...]
&&&&&&
$ git config --get remote.origin.url
https://github.com/readme-generator/alreadyme-ai-research.git
&&&&&&
$ cat README.md
[...]
Alle Beispiele werden von &&&&&& getrennt. Wir haben so konzipiert, dass wir den Befehl Linux -Bash ausführen (oder simulieren), um den Befehl Linux Bash auszuführen (zu simulieren). Bloom liest einige Teile der Quellcodes aus der angegebenen Eingabeaufforderung und generiert eine ordnungsgemäße README.md -Datei.
Weitere Informationen finden Sie in unserem Unterprojekt für Modell-Finetuning .
BotingMe-AI-Research wird unter der Apache-Lizenz 2.0 veröffentlicht. Die Lizenz ist hier zu finden.
@misc { https://doi.org/10.48550/arxiv.2005.14165 ,
title = { Language Models are Few-Shot Learners } ,
author = { Brown, Tom B. and Mann, Benjamin and Ryder, Nick and Subbiah, Melanie and Kaplan, Jared and Dhariwal, Prafulla and Neelakantan, Arvind and Shyam, Pranav and Sastry, Girish and Askell, Amanda and Agarwal, Sandhini and Herbert-Voss, Ariel and Krueger, Gretchen and Henighan, Tom and Child, Rewon and Ramesh, Aditya and Ziegler, Daniel M. and Wu, Jeffrey and Winter, Clemens and Hesse, Christopher and Chen, Mark and Sigler, Eric and Litwin, Mateusz and Gray, Scott and Chess, Benjamin and Clark, Jack and Berner, Christopher and McCandlish, Sam and Radford, Alec and Sutskever, Ilya and Amodei, Dario } ,
year = 2020 ,
publisher = { arXiv } ,
doi = { 10.48550/ARXIV.2005.14165 } ,
url = { https://arxiv.org/abs/2005.14165 } ,
copyright = { arXiv.org perpetual, non-exclusive license } ,
keywords = { Computation and Language (cs.CL), FOS: Computer and information sciences, FOS: Computer and information sciences }
} @misc { https://doi.org/10.48550/arxiv.2107.03374 ,
title = { Evaluating Large Language Models Trained on Code } ,
author = {Chen, Mark and Tworek, Jerry and Jun, Heewoo and Yuan, Qiming and Pinto, Henrique Ponde de Oliveira and Kaplan, Jared and Edwards, Harri and Burda, Yuri and Joseph, Nicholas and Brockman, Greg and Ray, Alex and Puri, Raul and Krueger, Gretchen and Petrov, Michael and Khlaaf, Heidy and Sastry, Girish and Mishkin, Pamela and Chan, Brooke and Gray, Scott and Ryder, Nick and Pavlov, Mikhail and Power, Alethea and Kaiser, Lukasz and Bavarian, Mohammad and Winter, Clemens and Tillet, Philippe and Such, Felipe Petroski and Cummings, Dave and Plappert, Matthias and Chantzis, Fotios and Barnes, Elizabeth and Herbert-Voss, Ariel and Guss, William Hebgen and Nichol, Alex and Paino, Alex and Tezak, Nikolas and Tang, Jie and Babuschkin, Igor and Balaji, Suchir and Jain, Shantanu and Saunders, William and Hesse, Christopher and Carr, Andrew N. and Leike, Jan and Achiam, Josh and Misra, Vedant and Morikawa, Evan and Radford, Alec and Knight, Matthew and Brundage, Miles and Murati, Mira and Mayer, Katie and Welinder, Peter and McGrew, Bob and Amodei, Dario and McCandlish, Sam and Sutskever, Ilya and Zaremba, Wojciech},
year = 2021 ,
publisher = { arXiv } ,
doi = { 10.48550/ARXIV.2107.03374 } ,
url = { https://arxiv.org/abs/2107.03374 } ,
copyright = { arXiv.org perpetual, non-exclusive license } ,
keywords = { Machine Learning (cs.LG), FOS: Computer and information sciences, FOS: Computer and information sciences }
} @misc { https://doi.org/10.48550/arxiv.2106.09685 ,
title = { LoRA: Low-Rank Adaptation of Large Language Models } ,
author = { Hu, Edward J. and Shen, Yelong and Wallis, Phillip and Allen-Zhu, Zeyuan and Li, Yuanzhi and Wang, Shean and Wang, Lu and Chen, Weizhu } ,
year = 2021 ,
publisher = { arXiv } ,
doi = { 10.48550/ARXIV.2106.09685 } ,
url = { https://arxiv.org/abs/2106.09685 } ,
copyright = { arXiv.org perpetual, non-exclusive license } ,
keywords = { Computation and Language (cs.CL), Artificial Intelligence (cs.AI), Machine Learning (cs.LG), FOS: Computer and information sciences, FOS: Computer and information sciences }
} @misc { bigscience_2022 ,
title = { Bigscience large open-science openaccess multilingual language model. } ,
author = { BigScience } ,
year = 2022 ,
journal = { bigscience/bloom · Hugging Face } ,
url = { https://huggingface.co/bigscience/bloom }
}
