CodeAssist

?? chino |​

---

CodeAssist: herramienta de finalización de código avanzado

Introducción

CodeAssist es una herramienta avanzada de finalización de código que proporciona inteligentemente las finalizaciones de código de alta calidad para Python, Java y C ++, etc.

CodeAssist es una herramienta de finalización de código de alta calidad que completa el código para lenguajes de programación como Python, Java y C ++.

Características

• Finalización del código basado en GPT
• Finalización de código para Python , Java , C++ , javascript , etc.
• Finalización del código de línea y bloque
• Traine (ajuste fino) y predice el modelo con sus propios datos

Modelos de lanzamiento

Arco	Base de base	Modelo	Tamaño del modelo
GPT	GPT2	shibing624/code-eutocomplete-gpt2-base	487mb
GPT	Distilgpt2	shibing624/code-eutocomplete-distilgpt2-python	319MB
GPT	Bigcode/Starcoder	Wizardlm/WizardCoder-15B-V1.0	29GB

Manifestación

Demo de Huggingface: https://huggingface.co/spaces/shibing624/code-autocomplete

Modelo de back-end: shibing624/code-autocomplete-gpt2-base

Instalar

pip install torch # conda install pytorch
pip install -U codeassist

o

git clone https://github.com/shibing624/codeassist.git
cd CodeAssist
python setup.py install

Uso

Modelo WizardCoder

WizardCoder-15b está ajustado bigcode/starcoder con datos de código Alpaca, puede usar el siguiente código para generar código:

Ejemplo: ejemplos/wizardcoder_demo.py

 import sys

sys . path . append ( '..' )
from codeassist import WizardCoder

m = WizardCoder ( "WizardLM/WizardCoder-15B-V1.0" )
print ( m . generate ( 'def load_csv_file(file_path):' )[ 0 ])

producción:

 import csv

def load_csv_file ( file_path ):
    """
    Load data from a CSV file and return a list of dictionaries.
    """
    # Open the file in read mode
    with open ( file_path , 'r' ) as file :
        # Create a CSV reader object
        csv_reader = csv . DictReader ( file )
        # Initialize an empty list to store the data
        data = []
        # Iterate over each row of data
        for row in csv_reader :
            # Append the row of data to the list
            data . append ( row )
    # Return the list of data
    return data

La salida del modelo es impresionantemente efectiva, actualmente admite la entrada en inglés y china, puede ingresar instrucciones o prefijos de código según sea necesario.

modelo Distilgpt2

DISTILGPT2 Código ajustado Modelo de autocompleto, puede usar el siguiente código:

Ejemplo: Ejemplos/Distilgpt2_Demo.py

 import sys

sys . path . append ( '..' )
from codeassist import GPT2Coder

m = GPT2Coder ( "shibing624/code-autocomplete-distilgpt2-python" )
print ( m . generate ( 'import torch.nn as' )[ 0 ])

producción:

import torch.nn as nn
import torch.nn.functional as F

Úselo con Huggingface/Transformers:

Ejemplo: ejemplos/use_transformers_gpt2.py

Modelo de tren

Modelo de cotizador

Ejemplo: ejemplos/entrenador_wizardcoder_mydata.py

 cd examples
CUDA_VISIBLE_DEVICES=0,1 python training_wizardcoder_mydata.py --do_train --do_predict --num_epochs 1 --output_dir outputs-wizard --model_name WizardLM/WizardCoder-15B-V1.0

• Memoria de GPU: 31 GB
• Finetune necesita 2*V100 (32GB)
• La inferencia necesita 1*V100 (32GB)

Train DistilPpt2 Modelo

Ejemplo: ejemplos/entrenador_gpt2_mydata.py

 cd examples
python training_gpt2_mydata.py --do_train --do_predict --num_epochs 15 --output_dir outputs-gpt2 --model_name gpt2

PS: el modelo de resultado ajustado es GPT2-Python: Shibing624/Code-Autocomplete-GPT2-Base, pasé unas 24 horas con V100 para ajustarlo.

Servidor

Iniciar servidor Fastapi:

Ejemplo: ejemplos/server.py

 cd examples
python server.py

URL abierta: http://0.0.0.0:8001/docs

Conjunto de datos

Esto permite personalizar la construcción del conjunto de datos.

Usemos los códigos de Python de Awesome-Pytorch-List

1. Queremos que el modelo ayude a los códigos automáticos a nivel general.
2. Este código de este proyecto está bien escrito (códigos de alta calidad).

Árbol del conjunto de datos:

examples/download/python
├── train.txt
└── valid.txt
└── test.txt

Hay tres formas de crear un conjunto de datos:

1. Use la biblioteca Huggingface/DataSets Cargue el conjunto de datos Huggingface DataSets https://huggingface.co/datasets/sshibing624/source_code

 from datasets import load_dataset
dataset = load_dataset ( "shibing624/source_code" , "python" ) # python or java or cpp
print ( dataset )
print ( dataset [ 'test' ][ 0 : 10 ])

producción:

DatasetDict({
    train: Dataset({
        features: [ ' text ' ],
        num_rows: 5215412
    })
    validation: Dataset({
        features: [ ' text ' ],
        num_rows: 10000
    })
    test: Dataset({
        features: [ ' text ' ],
        num_rows: 10000
    })
})
{ ' text ' : [
"            {'max_epochs': [1, 2]},n " , 
'            refit=False,n ' , '            cv=3,n ' , 
"            scoring='roc_auc',n " , '        )n ' , 
'        search.fit(*data)n ' , 
' ' , 
'    def test_module_output_not_1d(self, net_cls, data):n ' , 
'        from skorch.toy import make_classifiern ' , 
'        module = make_classifier(n '
]}

2. Descargar DataSet desde la nube

Nombre	Fuente	Descargar	Tamaño
Código fuente de Python+Java+CPP	Awesome-Pytorch-List (5.22 millones de líneas)	github_source_code.zip	105m

Descargue el conjunto de datos y descúplalo, póngalo a examples/ .

3. Obtenga el código fuente desde cero y cree un conjunto de datos

preparar_code_data.py

 cd examples
python prepare_code_data.py --num_repos 260

Contacto

• Problema (sugerencias):
• Envíeme un correo electrónico: Xuming: [email protected]
• WeChat Me: Agregame WeChat ID: Xuming624, Nota: Nombre personal - Compañía - NLP a NLP Exchange Group.

Citación

Si usa CodeAssist en su investigación, cite en el siguiente formato:

APA:

Xu, M. codeassist: Code AutoComplete with GPT model (Version 1.0.0) [Computer software]. https://github.com/shibing624/codeassist

Bibtex:

@software{Xu_codeassist,
author = {Ming Xu},
title = {CodeAssist: Code AutoComplete with Generation model},
url = {https://github.com/shibing624/codeassist},
version = {1.0.0}
}

Licencia

Este repositorio tiene licencia bajo la Licencia Apache 2.0.

Siga la atribución no comercial 4.0 International para usar el modelo WizardCoder.

Contribuir

El código del proyecto sigue siendo muy duro.

• Agregar pruebas unitarias correspondientes en tests
• Use python setup.py test para ejecutar todas las pruebas unitarias para garantizar que se pasen todas las pruebas individuales

Puede enviar su PR más tarde.

Referencia

• GPT-2-simple
• galois-autometeter
• Wizardlm/WizardCoder-15B-V1.0