SkyCode AI CodeX GPT3
1.0.0
Skycode - это многоязычная модель программирования с открытым исходным кодом, выпущенная Intelligence. Поддерживает Java, JavaScript, C, C ++, Python, Go, Shell и другие основные языки программирования, и может понимать китайские аннотации. Модель может завершить код, решать проблемы и другие операции, позволяя вам освободиться от программирования и сосредоточиться на решении более крупных проблем.
Техническое преимущество 1: охватывание нескольких языков программирования
Различные языки программирования сосредоточены на решении проблем на разных платформах и средах, а различные языки программирования имеют свои причины для их существования. Код, который Skycode Intelligence Skycode, может генерировать не только широкий спектр JavaScript, Python, Java, C и т. Д., Но также охватывает более десяти языков программирования, таких как PHP, GO, Swift и т. Д., позволяя пользователям разных языков испытывать мощные возможности Skycode.
Техническое преимущество 2: оптимизация для китайских аннотаций
В области больших моделей перед тренировкой всегда доминировало английское сообщество, а модель генерации кода, основанная на GPT3, имеет одинаковую проблему. Благодаря опыту глубоко выращивания китайских моделей, сингулярность Жиюань оптимизировал и внедрило использование уникальных методов кодирования китайских кодировков, основанных на характеристиках китайского, что в большей степени соответствует привычкам китайского языка, что улучшит понимание китайских аннотаций.
Техническое преимущество 3: чрезвычайно превосходная способность решать проблемы
В наборе данных Humaneval, который отражает способность решать проблемы моделей генерации кода, способность к решению проблем Skycode Skycode Singularity Skycode также намного выше, чем у других моделей с открытым исходным кодом.
| модель | пройти@1 | пройти@10 | пройти@100 |
|---|---|---|---|
| GPT-neo 1.3b | 4,79% | 7,47% | 16,30% |
| GPT-neo 2.7b | 6,41% | 11,27% | 21,37% |
| GPT-J 6B | 11,62% | 15,74% | 27,74% |
| Sky_code (2,6b) | 12,84% | 21,07% | 35,97% |
Можно видеть, что Skycode с суммой параметра в 2,6B не только намного выше, чем GPT-Neo 1,3B с меньшим количеством параметров, но также намного выше, чем модель GPT-Neo 2,7B с сопоставимой суммой параметра. Даже по сравнению с моделью GPT-J 6B с более высокими параметрами Skycode обладает более высокой способностью решать проблемы. В индикаторе Pass@100, который лучше отражает верхний предел способности решать проблемы, чистое значение Skycode, превышающее GPT-J, составляет 8,23%.
——————————————————————————————————————————————————————————————————————————————————————————————————
推荐
transformers>=4.18.0
# -*- coding: utf-8 -*-
from transformers import GPT2LMHeadModel
from transformers import AutoTokenizer
from transformers import TextGenerationPipeline
model = GPT2LMHeadModel . from_pretrained ( "SkyWork/SkyCode" )
tokenizer = AutoTokenizer . from_pretrained ( "SkyWork/SkyCode" , trust_remote_code = True )
text_generator = TextGenerationPipeline ( model , tokenizer , device = 0 )
input_str = "if __name__"
max_new_tokens = 40
print ( text_generator ( input_str , max_new_tokens = max_new_tokens , do_sample = True ))https://huggingface.co/skywork/skycode
MIT Лицензия
