alreadyme ai research
1.0.0
Menghasilkan readme.md dengan gpt-3 beberapa pembelajaran shot
Sudah-IA-Research adalah proyek inti untuk menghasilkan README.md dari kode sumber di repositori apa pun. Model AI membaca beberapa bagian kode sumber dan menulis dokumen README.md yang sesuai. Tim yang sudah ada saat ini sedang menyediakan layanan tentang fitur ini, dan Anda dapat menemukan hasil kami di halaman ini.
Repositori ini berisi beberapa subproyik. Anda dapat melihat deskripsi terperinci di direktori.
Seperti yang ditunjukkan oleh model skala besar seperti GPT-3, pembelajaran beberapa tembakan adalah kunci terpenting untuk membangun model bahasa umum. Mereka dapat memahami apa yang harus mereka tulis sesuai dengan contoh prompt dan beberapa tembakan sebelumnya. Menggunakan fitur ini, mereka dapat melakukan hampir semua hal tanpa menyempurnakan. Mereka dapat meringkas berita, menjawab pertanyaan, dan bahkan berbicara!
Openai Codex memperkenalkan model Langauge skala besar baru untuk bahasa pemrograman dengan menyempurnakan GPT-3. Sekarang kita dapat mengharapkan kinerja umum (pembelajaran beberapa shot) pada bahasa pemrograman. Misalnya, buat docString dari kode sumber, tulis kode baru dari deskripsi (dan beginilah cara kerja kopilot), dan menerjemahkan dari python ke java.
Kami menggunakan Bloom yang untuk sains terbuka dan akses terbuka model bahasa skala besar. Bloom mendukung multibahasa yang bukan hanya bahasa alami, tetapi bahasa pemrograman juga. Kami merancang templat yang cepat dan menemukan versi terbaik dari mereka.
&&&&&&
$ head -n 30 model-finetuning/src/data.py
from __future__ import annotations
from dataclasses import dataclass
import torch
[...]
&&&&&&
$ head -n 37 model-finetuning/src/train.py
from __future__ import annotations
import argparse
import os
[...]
&&&&&&
$ git config --get remote.origin.url
https://github.com/readme-generator/alreadyme-ai-research.git
&&&&&&
$ cat README.md
[...]
Semua contoh akan dipisahkan oleh &&&&&& . Kami dirancang untuk membuat Bloom untuk melakukan (atau mensimulasikan) perintah Linux Bash. Bloom akan membaca beberapa bagian kode sumber dari prompt yang diberikan dan menghasilkan file README.md yang tepat.
Untuk detail lebih lanjut, lihat subproyik model-finetuning kami.
Sudah-ai-research dirilis di bawah lisensi Apache 2.0. Lisensi dapat ditemukan di sini.
@misc { https://doi.org/10.48550/arxiv.2005.14165 ,
title = { Language Models are Few-Shot Learners } ,
author = { Brown, Tom B. and Mann, Benjamin and Ryder, Nick and Subbiah, Melanie and Kaplan, Jared and Dhariwal, Prafulla and Neelakantan, Arvind and Shyam, Pranav and Sastry, Girish and Askell, Amanda and Agarwal, Sandhini and Herbert-Voss, Ariel and Krueger, Gretchen and Henighan, Tom and Child, Rewon and Ramesh, Aditya and Ziegler, Daniel M. and Wu, Jeffrey and Winter, Clemens and Hesse, Christopher and Chen, Mark and Sigler, Eric and Litwin, Mateusz and Gray, Scott and Chess, Benjamin and Clark, Jack and Berner, Christopher and McCandlish, Sam and Radford, Alec and Sutskever, Ilya and Amodei, Dario } ,
year = 2020 ,
publisher = { arXiv } ,
doi = { 10.48550/ARXIV.2005.14165 } ,
url = { https://arxiv.org/abs/2005.14165 } ,
copyright = { arXiv.org perpetual, non-exclusive license } ,
keywords = { Computation and Language (cs.CL), FOS: Computer and information sciences, FOS: Computer and information sciences }
} @misc { https://doi.org/10.48550/arxiv.2107.03374 ,
title = { Evaluating Large Language Models Trained on Code } ,
author = {Chen, Mark and Tworek, Jerry and Jun, Heewoo and Yuan, Qiming and Pinto, Henrique Ponde de Oliveira and Kaplan, Jared and Edwards, Harri and Burda, Yuri and Joseph, Nicholas and Brockman, Greg and Ray, Alex and Puri, Raul and Krueger, Gretchen and Petrov, Michael and Khlaaf, Heidy and Sastry, Girish and Mishkin, Pamela and Chan, Brooke and Gray, Scott and Ryder, Nick and Pavlov, Mikhail and Power, Alethea and Kaiser, Lukasz and Bavarian, Mohammad and Winter, Clemens and Tillet, Philippe and Such, Felipe Petroski and Cummings, Dave and Plappert, Matthias and Chantzis, Fotios and Barnes, Elizabeth and Herbert-Voss, Ariel and Guss, William Hebgen and Nichol, Alex and Paino, Alex and Tezak, Nikolas and Tang, Jie and Babuschkin, Igor and Balaji, Suchir and Jain, Shantanu and Saunders, William and Hesse, Christopher and Carr, Andrew N. and Leike, Jan and Achiam, Josh and Misra, Vedant and Morikawa, Evan and Radford, Alec and Knight, Matthew and Brundage, Miles and Murati, Mira and Mayer, Katie and Welinder, Peter and McGrew, Bob and Amodei, Dario and McCandlish, Sam and Sutskever, Ilya and Zaremba, Wojciech},
year = 2021 ,
publisher = { arXiv } ,
doi = { 10.48550/ARXIV.2107.03374 } ,
url = { https://arxiv.org/abs/2107.03374 } ,
copyright = { arXiv.org perpetual, non-exclusive license } ,
keywords = { Machine Learning (cs.LG), FOS: Computer and information sciences, FOS: Computer and information sciences }
} @misc { https://doi.org/10.48550/arxiv.2106.09685 ,
title = { LoRA: Low-Rank Adaptation of Large Language Models } ,
author = { Hu, Edward J. and Shen, Yelong and Wallis, Phillip and Allen-Zhu, Zeyuan and Li, Yuanzhi and Wang, Shean and Wang, Lu and Chen, Weizhu } ,
year = 2021 ,
publisher = { arXiv } ,
doi = { 10.48550/ARXIV.2106.09685 } ,
url = { https://arxiv.org/abs/2106.09685 } ,
copyright = { arXiv.org perpetual, non-exclusive license } ,
keywords = { Computation and Language (cs.CL), Artificial Intelligence (cs.AI), Machine Learning (cs.LG), FOS: Computer and information sciences, FOS: Computer and information sciences }
} @misc { bigscience_2022 ,
title = { Bigscience large open-science openaccess multilingual language model. } ,
author = { BigScience } ,
year = 2022 ,
journal = { bigscience/bloom · Hugging Face } ,
url = { https://huggingface.co/bigscience/bloom }
}
