alreadyme ai research
1.0.0
gpt-3 몇 샷 학습으로 readme.md를 생성하십시오
AlreadyMe-AI-Research는 모든 저장소에서 소스 코드에서 README.md 생성하기위한 핵심 프로젝트입니다. AI 모델은 소스 코드의 일부를 읽고 해당 README.md 문서를 작성합니다. AlreadyMe.MD 팀은 현재이 기능에 대한 서비스를 제공하고 있으며이 페이지에서 결과를 찾을 수 있습니다.
이 저장소에는 여러 하위 프로젝트가 포함되어 있습니다. 디렉토리에서 자세한 설명을 볼 수 있습니다.
GPT-3과 같은 대규모 모델에서 알 수 있듯이 소수의 학습은 일반화 된 언어 모델을 구축하는 데 가장 중요한 핵심입니다. 그들은 이전의 프롬프트와 몇 가지 샷 사례에 따라 무엇을 써야하는지 이해할 수 있습니다. 이 기능을 사용하면 미세 조정없이 거의 모든 것을 수행 할 수 있습니다. 그들은 뉴스를 요약하고 질문에 대답하며 대화를 할 수도 있습니다!
OpenAi Codex는 GPT-3을 미세 조정하여 프로그래밍 언어를위한 새로운 대규모 Langauge 모델을 소개했습니다. 이제 우리는 프로그래밍 언어에 대한 일반화 된 성능 (소수의 학습)을 기대할 수 있습니다. 예를 들어, 소스 코드에서 문서를 작성하고 설명에서 새 코드를 작성하고 (Copilot의 작동 방식) Python에서 Java로 번역하십시오.
우리는 대규모 언어 모델의 열린 과학 및 오픈 액세스를위한 Bloom을 사용합니다. Bloom은 자연 언어뿐만 아니라 프로그래밍 언어 인 다국어를 지원합니다. 우리는 프롬프트 템플릿을 설계하고 최고의 버전을 찾았습니다.
&&&&&&
$ head -n 30 model-finetuning/src/data.py
from __future__ import annotations
from dataclasses import dataclass
import torch
[...]
&&&&&&
$ head -n 37 model-finetuning/src/train.py
from __future__ import annotations
import argparse
import os
[...]
&&&&&&
$ git config --get remote.origin.url
https://github.com/readme-generator/alreadyme-ai-research.git
&&&&&&
$ cat README.md
[...]
모든 예제는 &&&&&& 로 분리됩니다. Linux Bash 명령을 수행 (또는 시뮬레이션) 블룸을 만들도록 설계되었습니다. Bloom은 주어진 프롬프트에서 소스 코드의 일부를 읽고 적절한 README.md 파일을 생성합니다.
자세한 내용은 Model Finetuning 하위 프로젝트를 확인하십시오.
Alreadyme-AI-esearch는 Apache License 2.0에 따라 릴리스됩니다. 라이센스는 여기에서 찾을 수 있습니다.
@misc { https://doi.org/10.48550/arxiv.2005.14165 ,
title = { Language Models are Few-Shot Learners } ,
author = { Brown, Tom B. and Mann, Benjamin and Ryder, Nick and Subbiah, Melanie and Kaplan, Jared and Dhariwal, Prafulla and Neelakantan, Arvind and Shyam, Pranav and Sastry, Girish and Askell, Amanda and Agarwal, Sandhini and Herbert-Voss, Ariel and Krueger, Gretchen and Henighan, Tom and Child, Rewon and Ramesh, Aditya and Ziegler, Daniel M. and Wu, Jeffrey and Winter, Clemens and Hesse, Christopher and Chen, Mark and Sigler, Eric and Litwin, Mateusz and Gray, Scott and Chess, Benjamin and Clark, Jack and Berner, Christopher and McCandlish, Sam and Radford, Alec and Sutskever, Ilya and Amodei, Dario } ,
year = 2020 ,
publisher = { arXiv } ,
doi = { 10.48550/ARXIV.2005.14165 } ,
url = { https://arxiv.org/abs/2005.14165 } ,
copyright = { arXiv.org perpetual, non-exclusive license } ,
keywords = { Computation and Language (cs.CL), FOS: Computer and information sciences, FOS: Computer and information sciences }
} @misc { https://doi.org/10.48550/arxiv.2107.03374 ,
title = { Evaluating Large Language Models Trained on Code } ,
author = {Chen, Mark and Tworek, Jerry and Jun, Heewoo and Yuan, Qiming and Pinto, Henrique Ponde de Oliveira and Kaplan, Jared and Edwards, Harri and Burda, Yuri and Joseph, Nicholas and Brockman, Greg and Ray, Alex and Puri, Raul and Krueger, Gretchen and Petrov, Michael and Khlaaf, Heidy and Sastry, Girish and Mishkin, Pamela and Chan, Brooke and Gray, Scott and Ryder, Nick and Pavlov, Mikhail and Power, Alethea and Kaiser, Lukasz and Bavarian, Mohammad and Winter, Clemens and Tillet, Philippe and Such, Felipe Petroski and Cummings, Dave and Plappert, Matthias and Chantzis, Fotios and Barnes, Elizabeth and Herbert-Voss, Ariel and Guss, William Hebgen and Nichol, Alex and Paino, Alex and Tezak, Nikolas and Tang, Jie and Babuschkin, Igor and Balaji, Suchir and Jain, Shantanu and Saunders, William and Hesse, Christopher and Carr, Andrew N. and Leike, Jan and Achiam, Josh and Misra, Vedant and Morikawa, Evan and Radford, Alec and Knight, Matthew and Brundage, Miles and Murati, Mira and Mayer, Katie and Welinder, Peter and McGrew, Bob and Amodei, Dario and McCandlish, Sam and Sutskever, Ilya and Zaremba, Wojciech},
year = 2021 ,
publisher = { arXiv } ,
doi = { 10.48550/ARXIV.2107.03374 } ,
url = { https://arxiv.org/abs/2107.03374 } ,
copyright = { arXiv.org perpetual, non-exclusive license } ,
keywords = { Machine Learning (cs.LG), FOS: Computer and information sciences, FOS: Computer and information sciences }
} @misc { https://doi.org/10.48550/arxiv.2106.09685 ,
title = { LoRA: Low-Rank Adaptation of Large Language Models } ,
author = { Hu, Edward J. and Shen, Yelong and Wallis, Phillip and Allen-Zhu, Zeyuan and Li, Yuanzhi and Wang, Shean and Wang, Lu and Chen, Weizhu } ,
year = 2021 ,
publisher = { arXiv } ,
doi = { 10.48550/ARXIV.2106.09685 } ,
url = { https://arxiv.org/abs/2106.09685 } ,
copyright = { arXiv.org perpetual, non-exclusive license } ,
keywords = { Computation and Language (cs.CL), Artificial Intelligence (cs.AI), Machine Learning (cs.LG), FOS: Computer and information sciences, FOS: Computer and information sciences }
} @misc { bigscience_2022 ,
title = { Bigscience large open-science openaccess multilingual language model. } ,
author = { BigScience } ,
year = 2022 ,
journal = { bigscience/bloom · Hugging Face } ,
url = { https://huggingface.co/bigscience/bloom }
}
