SkyCode AI CodeX GPT3
1.0.0
SkyCode es un modelo de programación de código abierto multilingüe lanzado por Singularity Intelligence. Admite Java, JavaScript, C, C ++, Python, GO, Shell y otros lenguajes de programación convencionales, y pueden entender las anotaciones chinas. El modelo puede completar el código, resolver problemas y otras operaciones, lo que le permite liberarte de la programación y concentrarse en resolver problemas más grandes.
Ventaja técnica 1: cubriendo múltiples lenguajes de programación
Los diferentes lenguajes de programación se centran en resolver problemas en diferentes plataformas y entornos, y los diferentes lenguajes de programación tienen sus propias razones para su existencia. El código que Singularity Intelligence SkyCode puede generar no solo incluye una amplia gama de JavaScript, Python, Java, C, etc., sino que también cubre más de diez lenguajes de programación como PHP, GO, Swift, etc., lo que permite a los usuarios de diferentes idiomas experimentar las potentes capacidades de generación de código de Skycode.
Ventaja técnica 2: Optimizar las anotaciones chinas
En el campo de los grandes modelos de pre-entrenamiento, siempre ha sido dominado por la comunidad inglesa, y el modelo de generación de código basado en GPT3 tiene el mismo problema. Con la experiencia de cultivar profundamente los modelos chinos, la singularidad Zhiyuan optimizó e innovó el uso de métodos de codificación chinos únicos basados en las características de los chinos, que está más en línea con los hábitos del idioma chino, lo que hace que el modelo comprenda mejor la comprensión de las anotaciones chinas.
Ventaja técnica 3: capacidad de resolución de problemas extremadamente excelente
En el conjunto de datos HumeNeval que refleja la capacidad de resolución de problemas de los modelos de generación de código, la capacidad de resolución de problemas de la fuente inteligente de singularidad también es mucho más alta que la de otros modelos de código abierto.
| modelo | Pase@1 | Pase@10 | Pase@100 |
|---|---|---|---|
| GPT-NEO 1.3B | 4.79% | 7.47% | 16.30% |
| GPT-NEO 2.7B | 6.41% | 11.27% | 21.37% |
| GPT-J 6B | 11.62% | 15.74% | 27.74% |
| Sky_code (2.6b) | 12.84% | 21.07% | 35.97% |
Se puede ver que SkyCode con una cantidad de parámetros de 2.6B no solo es mucho más alta que GPT-NEO 1.3B con menos parámetros, sino también mucho más alto que el modelo GPT-NEO 2.7B con una cantidad de parámetro comparable. Incluso en comparación con el modelo GPT-J 6B con parámetros más altos, SkyCode tiene una capacidad de resolución de problemas más fuerte. En el indicador Pass@100 que refleja mejor el límite superior de la capacidad de resolución de problemas, el valor neto de SkyCode que excede GPT-J es 8.23%.
——————————————————————————————————————————————————————————
推荐
transformers>=4.18.0
# -*- coding: utf-8 -*-
from transformers import GPT2LMHeadModel
from transformers import AutoTokenizer
from transformers import TextGenerationPipeline
model = GPT2LMHeadModel . from_pretrained ( "SkyWork/SkyCode" )
tokenizer = AutoTokenizer . from_pretrained ( "SkyWork/SkyCode" , trust_remote_code = True )
text_generator = TextGenerationPipeline ( model , tokenizer , device = 0 )
input_str = "if __name__"
max_new_tokens = 40
print ( text_generator ( input_str , max_new_tokens = max_new_tokens , do_sample = True ))https://huggingface.co/skywork/skycode
Licencia de MIT
