SkyCode AI CodeX GPT3
1.0.0
Skycode est un modèle de programmation Open Source multilingue publié par Singelarity Intelligence. Prend en charge Java, JavaScript, C, C ++, Python, GO, Shell et d'autres langages de programmation grand public, et peut comprendre les annotations chinoises. Le modèle peut compléter le code, résoudre des problèmes et d'autres opérations, vous permettant de vous libérer de la programmation et de vous concentrer sur la résolution de problèmes plus importants.
Avantage technique 1: couvrant plusieurs langages de programmation
Différents langages de programmation se concentrent sur la résolution de problèmes dans différentes plates-formes et environnements, et différents langages de programmation ont leurs propres raisons pour leur existence. Le code que Singularity Intelligence Skycode peut générer non seulement comprend une large gamme de JavaScript, Python, Java, C, etc., mais couvre également plus de dix langages de programmation tels que PHP, GO, SWIFT, etc., permettant aux utilisateurs de différents langages de vivre les puissantes capacités de génération de code de Skycode.
Avantage technique 2: Optimiser les annotations chinoises
Dans le domaine des grands modèles avant la formation, il a toujours été dominé par la communauté anglaise, et le modèle de génération de code basé sur GPT3 a le même problème. Avec l'expérience de la culture en profondeur des modèles chinois, la singularité Zhiyuan a optimisé et innové l'utilisation de méthodes de codage chinois uniques basées sur les caractéristiques du chinois, ce qui est plus conforme aux habitudes de langue chinoise, ce qui rend la compréhension du modèle des annotations chinoises.
Avantage technique Trois: Capacité de résolution de problèmes extrêmement excellente
Sur l'ensemble de données Humaneval qui reflète la capacité de résolution de problèmes des modèles de génération de code, la capacité de résolution de problèmes de Singularity Source Source est également beaucoup plus élevée que celle des autres modèles open source.
| modèle | passer @ 1 | passer @ 10 | passer @ 100 |
|---|---|---|---|
| GPT-NEO 1.3b | 4,79% | 7,47% | 16,30% |
| GPT-NEO 2.7b | 6,41% | 11,27% | 21,37% |
| GPT-J 6B | 11,62% | 15,74% | 27,74% |
| Sky_code (2.6b) | 12,84% | 21,07% | 35,97% |
On peut voir que le skycode avec une quantité de paramètre de 2,6b est non seulement beaucoup plus élevé que GPT-NEO 1.3b avec moins de paramètres, mais aussi beaucoup plus élevé que le modèle GPT-NEO 2.7b avec une quantité de paramètre comparable. Même par rapport au modèle GPT-J 6B avec des paramètres plus élevés, Skycode a une capacité de résolution de problèmes plus forte. Dans l'indicateur Pass @ 100 qui reflète mieux la limite supérieure de la capacité de résolution de problèmes, la valeur nette de Skycode dépassant GPT-J est de 8,23%.
——————————————————————————————————————————————————————————————
推荐
transformers>=4.18.0
# -*- coding: utf-8 -*-
from transformers import GPT2LMHeadModel
from transformers import AutoTokenizer
from transformers import TextGenerationPipeline
model = GPT2LMHeadModel . from_pretrained ( "SkyWork/SkyCode" )
tokenizer = AutoTokenizer . from_pretrained ( "SkyWork/SkyCode" , trust_remote_code = True )
text_generator = TextGenerationPipeline ( model , tokenizer , device = 0 )
input_str = "if __name__"
max_new_tokens = 40
print ( text_generator ( input_str , max_new_tokens = max_new_tokens , do_sample = True ))https://huggingface.co/skywork/skycode
Licence MIT
