تنزيل CodeAssist - تنزيل رمز المصدر CodeAssist

CodeAssist

شفرة المصدر الأخرى

v0.1.0

تنزيل

؟

CODEASSIST: أداة إكمال الرمز المتقدم

مقدمة

CodeAssist هي أداة إتمام الرمز المتقدم التي توفر بذكاء إكمال رمز عالي الجودة لـ Python و Java و C ++ وما إلى ذلك.

Codeassist هي أداة إكمال الرمز عالية الجودة التي تكمل رمز لغات البرمجة مثل Python و Java و C ++.

سمات

إكمال الكود المستند إلى GPT
إكمال رمز Python و Java و C++ و javascript وما إلى ذلك
إكمال سطر وحظر رمز
القطار (الضبط الدقيق) والتنبؤ النموذج مع بياناتك الخاصة

نماذج الافراج

قوس	قاعدة	نموذج	حجم النموذج
GPT	GPT2	shibing624/code-autocomplete-gpt2-base	487 ميجابايت
GPT	distilgpt2	shibing624/code-autocomplete-distilgpt2-python	319 ميجابايت
GPT	Bigcode/starcoder	Wizardlm/WizardCoder-15B-V1.0	29 جيجابايت

العرض التوضيحي

العانق التوضيحي: https://huggingface.co/spaces/shibing624/code-autocomplete

نموذج الواجهة الخلفية: shibing624/code-autocomplete-gpt2-base

ثَبَّتَ

pip install torch # conda install pytorch
pip install -U codeassist

أو

git clone https://github.com/shibing624/codeassist.git
cd CodeAssist
python setup.py install

الاستخدام

نموذج WizardCoder

WizardCoder-15B هو bigcode/starcoder مع بيانات رمز الألبكة ، يمكنك استخدام الكود التالي لإنشاء رمز:

مثال: أمثلة/WizardCoder_Demo.py

 import sys

sys . path . append ( '..' )
from codeassist import WizardCoder

m = WizardCoder ( "WizardLM/WizardCoder-15B-V1.0" )
print ( m . generate ( 'def load_csv_file(file_path):' )[ 0 ])

الإخراج:

 import csv

def load_csv_file ( file_path ):
    """
    Load data from a CSV file and return a list of dictionaries.
    """
    # Open the file in read mode
    with open ( file_path , 'r' ) as file :
        # Create a CSV reader object
        csv_reader = csv . DictReader ( file )
        # Initialize an empty list to store the data
        data = []
        # Iterate over each row of data
        for row in csv_reader :
            # Append the row of data to the list
            data . append ( row )
    # Return the list of data
    return data

يكون إخراج النموذج فعالًا بشكل مثير للإعجاب ، وهو يدعم حاليًا المدخلات الإنجليزية والصينية ، ويمكنك إدخال التعليمات أو بادئات الرمز كما هو مطلوب.

نموذج distilgpt2

نموذج الإكمال التلقائي لثبات رمز Distilgpt2 ، يمكنك استخدام الكود التالي:

مثال: أمثلة/distilgpt2_demo.py

 import sys

sys . path . append ( '..' )
from codeassist import GPT2Coder

m = GPT2Coder ( "shibing624/code-autocomplete-distilgpt2-python" )
print ( m . generate ( 'import torch.nn as' )[ 0 ])

الإخراج:

import torch.nn as nn
import torch.nn.functional as F

استخدم مع Huggingface/Transformers:

مثال: أمثلة/use_transformers_gpt2.py

نموذج القطار

طراز Train WizardCoder

مثال: أمثلة/تدريبات _wizardcoder_mydata.py

 cd examples
CUDA_VISIBLE_DEVICES=0,1 python training_wizardcoder_mydata.py --do_train --do_predict --num_epochs 1 --output_dir outputs-wizard --model_name WizardLM/WizardCoder-15B-V1.0

ذاكرة GPU: 31 جيجابايت
Finetune Need 2*V100 (32 جيجابايت)
الاستدلال بحاجة إلى 1*V100 (32 جيجابايت)

نموذج Distilgpt2 نموذج

مثال: أمثلة/تدريب _gpt2_mydata.py

 cd examples
python training_gpt2_mydata.py --do_train --do_predict --num_epochs 15 --output_dir outputs-gpt2 --model_name gpt2

PS: نموذج النتيجة المضبوطة هو GPT2-Python: Shibing624/Code-Autocomplete-GPT2-base ، قضيت حوالي 24 ساعة مع V100 لضبطه.

الخادم

ابدأ خادم Fastapi:

مثال: أمثلة/server.py

 cd examples
python server.py

فتح عنوان URL: http://0.0.0.0:8001/docs

API

مجموعة البيانات

هذا يسمح بتخصيص بناء مجموعة البيانات أدناه.

دعونا نستخدم رموز بيثون من قائمة رهيبة

نريد أن يساعد النموذج الرموز التلقائية على المستوى العام.
هذا الرمز من هذا المشروع مكتوب بشكل جيد (رموز عالية الجودة).

شجرة مجموعة البيانات:

examples/download/python
├── train.txt
└── valid.txt
└── test.txt

هناك ثلاث طرق لإنشاء مجموعة بيانات:

استخدم مكتبة HuggingFace/Datasets تحميل مجموعات بيانات مجموعة البيانات https://huggingface.co/Datasets/Shibing624/Source_Code

 from datasets import load_dataset
dataset = load_dataset ( "shibing624/source_code" , "python" ) # python or java or cpp
print ( dataset )
print ( dataset [ 'test' ][ 0 : 10 ])

الإخراج:

DatasetDict({
    train: Dataset({
        features: [ ' text ' ],
        num_rows: 5215412
    })
    validation: Dataset({
        features: [ ' text ' ],
        num_rows: 10000
    })
    test: Dataset({
        features: [ ' text ' ],
        num_rows: 10000
    })
})
{ ' text ' : [
"            {'max_epochs': [1, 2]},n " , 
'            refit=False,n ' , '            cv=3,n ' , 
"            scoring='roc_auc',n " , '        )n ' , 
'        search.fit(*data)n ' , 
' ' , 
'    def test_module_output_not_1d(self, net_cls, data):n ' , 
'        from skorch.toy import make_classifiern ' , 
'        module = make_classifier(n '
]}

قم بتنزيل مجموعة البيانات من السحابة

اسم	مصدر	تحميل	مقاس
Python+Java+CPP Code	قائمة رهيبة (5.22 مليون سطر)	github_source_code.zip	105m

قم بتنزيل مجموعة البيانات وفك ضغطها ، وضعت على examples/ .

احصل على رمز المصدر من نقطة الصفر وإنشاء مجموعة بيانات

إعداد_code_data.py

 cd examples
python prepare_code_data.py --num_repos 260

اتصال

القضية (اقتراحات):
راسلني: xuming: [email protected]
WeChat ME: أضفني معرف WeChat: Xuming624 ، ملاحظة: الاسم الشخصي - الشركة - NLP إلى NLP Exchange Group.

اقتباس

إذا كنت تستخدم Codeassist في بحثك ، فيرجى اقتباسه بالتنسيق التالي:

APA:

Xu, M. codeassist: Code AutoComplete with GPT model (Version 1.0.0) [Computer software]. https://github.com/shibing624/codeassist

bibtex:

@software{Xu_codeassist,
author = {Ming Xu},
title = {CodeAssist: Code AutoComplete with Generation model},
url = {https://github.com/shibing624/codeassist},
version = {1.0.0}
}