SkyCode AI CodeX GPT3 ดาวน์โหลด - SkyCode AI CodeX GPT3 ซอร์สโค้ดดาวน์โหลด

SkyCode AI CodeX GPT3

ซอร์สโค้ดอื่น ๆ

1.0.0

ดาวน์โหลด

skycode

Skycode เป็นรูปแบบการเขียนโปรแกรมโอเพนซอร์สหลายภาษาที่ออกโดยหน่วยสืบราชการลับเอกพจน์ รองรับ Java, JavaScript, C, C ++, Python, GO, Shell และภาษาการเขียนโปรแกรมกระแสหลักอื่น ๆ และสามารถเข้าใจคำอธิบายประกอบของจีนได้ โมเดลสามารถกรอกรหัสแก้ปัญหาและการดำเนินการอื่น ๆ ช่วยให้คุณสามารถปลดปล่อยตัวเองจากการเขียนโปรแกรมและมุ่งเน้นไปที่การแก้ปัญหาที่ใหญ่กว่า

ภาพ

โฮมเพจโมเดลใบหน้า: https://huggingface.co/skywork/skycode

ไฮไลท์ของโครงการ

ข้อได้เปรียบทางเทคนิค 1: ครอบคลุมภาษาการเขียนโปรแกรมหลายภาษา
ภาษาการเขียนโปรแกรมที่แตกต่างกันมุ่งเน้นไปที่การแก้ปัญหาในแพลตฟอร์มและสภาพแวดล้อมที่แตกต่างกันและภาษาการเขียนโปรแกรมที่แตกต่างกันมีเหตุผลของตนเองสำหรับการดำรงอยู่ของพวกเขา รหัสที่ Singularity Intelligence Skycode สามารถสร้างได้ไม่เพียง แต่รวมถึง JavaScript, Python, Java, C, ฯลฯ แต่ยังครอบคลุมภาษาการเขียนโปรแกรมมากกว่าสิบภาษาเช่น PHP, GO, Swift, ฯลฯ ทำให้ผู้ใช้ภาษาต่าง ๆ ได้สัมผัสกับความสามารถในการสร้างรหัสที่ทรงพลังของ SkyCode
ข้อได้เปรียบทางเทคนิค 2: เพิ่มประสิทธิภาพสำหรับคำอธิบายประกอบภาษาจีน
ในสาขาของโมเดลขนาดใหญ่ก่อนการฝึกอบรมมันถูกครอบงำโดยชุมชนภาษาอังกฤษเสมอและโมเดลการสร้างรหัสที่ใช้ GPT3 มีปัญหาเดียวกัน ด้วยประสบการณ์ของการปลูกฝังแบบจำลองของจีนอย่างลึกซึ้ง Zhiyuan ทำให้ดีขึ้นและคิดค้นการใช้วิธีการเข้ารหัสจีนที่ไม่เหมือนใครตามลักษณะของจีนซึ่งสอดคล้องกับนิสัยการใช้ภาษาจีนมากขึ้นทำให้แบบจำลองของคำอธิบายประกอบของจีนดีขึ้น

ความได้เปรียบทางเทคนิค 3: ความสามารถในการแก้ปัญหาที่ยอดเยี่ยมมาก

ในชุดข้อมูล HumanEval ที่สะท้อนถึงความสามารถในการแก้ปัญหาของโมเดลการสร้างรหัสความสามารถในการแก้ปัญหาของ Singularent Implulent Skycode นั้นสูงกว่ารุ่นโอเพนซอร์สอื่น ๆ

แบบอย่าง	ผ่าน@1	ผ่าน@10	ผ่าน@100
GPT-NEO 1.3B	4.79%	7.47%	16.30%
GPT-NEO 2.7B	6.41%	11.27%	21.37%
GPT-J 6B	11.62%	15.74%	27.74%
Sky_code (2.6b)	12.84%	21.07%	35.97%

จะเห็นได้ว่า SkyCode ที่มีจำนวนพารามิเตอร์ 2.6B ไม่เพียง แต่สูงกว่า GPT-NEO 1.3B ที่มีพารามิเตอร์น้อยลง แต่ยังสูงกว่ารุ่น GPT-NEO 2.7B ที่มีจำนวนพารามิเตอร์ที่เทียบเท่า แม้เมื่อเทียบกับรุ่น GPT-J 6B ที่มีพารามิเตอร์ที่สูงขึ้น SkyCode มีความสามารถในการแก้ปัญหาที่แข็งแกร่งขึ้น ในตัวบ่งชี้ Pass@100 ที่สะท้อนถึงขีด จำกัด สูงสุดของความสามารถในการแก้ปัญหามูลค่าสุทธิของ Skycode เกิน GPT-J คือ 8.23%

ข่าวแปลกประหลาด

[2022.12.15] การแถลงข่าว Kunlun Tiangong AIGC

-

พึ่งพา

推荐
transformers>=4.18.0

การใช้แบบจำลอง

 # -*- coding: utf-8 -*-
from transformers import GPT2LMHeadModel
from transformers import AutoTokenizer
from transformers import TextGenerationPipeline

model = GPT2LMHeadModel . from_pretrained ( "SkyWork/SkyCode" )
tokenizer = AutoTokenizer . from_pretrained ( "SkyWork/SkyCode" , trust_remote_code = True )
text_generator = TextGenerationPipeline ( model , tokenizer , device = 0 )
input_str = "if __name__"
max_new_tokens = 40
print ( text_generator ( input_str , max_new_tokens = max_new_tokens , do_sample = True ))