AliceMind
v1.0
พื้นที่เก็บข้อมูลนี้ให้แบบจำลองเครื่องเข้ารหัสแบบเข้ารหัสที่ผ่านการฝึกอบรมมาก่อนและเทคนิคการเพิ่มประสิทธิภาพที่เกี่ยวข้องที่พัฒนาโดยห้องปฏิบัติการ Mind (Machine Intelligence of Damo) ของอาลีบาบา
ครอบครัวของ Alicemind:
CVPR 2024 )EMNLP 2023 )ICML 2023 )EMNLP 2022 )Under Review )NAACL 2021 )ACL 2021 )CVPR 2020 VQA Challenge Runner-up )ACL 2021 )EMNLP 2020 )ICLR 2020 )IJCAI 2022 )EMNLP 2021 )AAAI 2022 ) MPLUG-OWL (27 เมษายน 2566): กระบวนทัศน์การฝึกอบรมใหม่ที่มีการออกแบบแบบแยกส่วนสำหรับแบบจำลองภาษาหลายรูปแบบขนาดใหญ่ เรียนรู้ความรู้ด้านภาพในขณะที่สนับสนุนการสนทนาหลายครั้งซึ่งประกอบด้วยรังสีที่แตกต่างกัน ความสามารถที่สังเกตได้เช่นความสัมพันธ์แบบหลายภาพและการทำความเข้าใจข้อความฉากความเข้าใจในการมองเห็นจากการมองเห็น ปล่อยชุดการประเมินผลการเรียนการสอนที่เกี่ยวข้องกับสายตา MPLUG-OWL: การทำให้เป็นโมดูลาร์ให้อำนาจแบบจำลองภาษาขนาดใหญ่ที่มีความหลากหลาย
Chatplug (16 เมษายน 2023): ระบบการสนทนาแบบเปิดโดเมนแบบจีนสำหรับแอปพลิเคชันมนุษย์ดิจิตอลที่ให้คำแนะนำ finetunes เกี่ยวกับงานการสนทนาที่หลากหลายในรูปแบบการเติมอินเทอร์เน็ตแบบครบวงจร แตกต่างจากรูปแบบการสนทนาแบบเปิดโดเมนอื่น ๆ ที่มุ่งเน้นไปที่การฝึกอบรมล่วงหน้าและปรับขนาดขนาดของโมเดลหรือบทสนทนาขนาดใหญ่เรามุ่งมั่นที่จะสร้างระบบบทสนทนาที่ทรงพลังและใช้งานได้จริงสำหรับมนุษย์ดิจิตอลที่มีทักษะที่หลากหลาย chatplug: ระบบการสนทนาแบบเปิดโดเมนพร้อมการปรับแต่งคำแนะนำทางอินเทอร์เน็ตสำหรับมนุษย์ดิจิตอล
MPLUG (1 กันยายน 2022): โมเดลที่ผ่านการฝึกอบรมมาก่อนขนาดใหญ่เพื่อ ความเข้าใจและการสร้างวิสัย ทัศน์ MPLUG ได้รับการฝึกอบรมล่วงหน้าแบบ end-to-end บนคู่ข้อความภาพขนาดใหญ่ที่มีวัตถุประสงค์การเลือกปฏิบัติและการกำเนิด มันได้ผลลัพธ์ที่ล้ำสมัยในงานลวดลายวิสัยทัศน์ที่หลากหลายรวมถึงการแสดงภาพการดึงข้อความภาพการลงดินภาพและการตอบคำถามด้วยภาพ MPLUG: การเรียนรู้แบบหลายรูปแบบที่มีประสิทธิภาพโดยการเชื่อมต่อข้ามแบบข้ามรูปแบบ ( EMNLP 2022 )
ปลั๊ก (1 กันยายน 2022): รูปแบบการฝึกอบรมก่อนหน้าของจีนขนาดใหญ่เพื่อ ความเข้าใจและการสร้าง ปลั๊ก (27B) เป็นรูปแบบการฝึกอบรมก่อนการฝึกภาษาจีนขนาดใหญ่สำหรับการทำความเข้าใจภาษาและการสร้าง การฝึกอบรมของปลั๊กเป็นสองขั้นตอนขั้นแรกคือตัวเข้ารหัสโครงสร้าง 24 ชั้นและขั้นตอนที่สองคือรูปแบบตัวเข้ารหัสปาล์มขนาด 24-6 ชั้น
SDCUP (6 กันยายน 2021): โมเดลที่ผ่านการฝึกอบรมมาก่อนเพื่อ ทำความเข้าใจตาราง เราออกแบบวัตถุประสงค์ก่อนการฝึกอบรมการพึ่งพาสคีมาเพื่อกำหนดอคติอุปนัยที่ต้องการในการเป็นตัวแทนที่เรียนรู้สำหรับการฝึกอบรมล่วงหน้าของตาราง เรายังเสนอวิธีการเรียนรู้หลักสูตรที่ตระหนักถึงสคีมาเพื่อบรรเทาผลกระทบของเสียงรบกวนและเรียนรู้ได้อย่างมีประสิทธิภาพจากข้อมูลการฝึกอบรมล่วงหน้าในลักษณะที่ง่าย ผลการทดลองเกี่ยวกับพายุและแมงมุมแสดงให้เห็นถึงประสิทธิภาพของวัตถุประสงค์ก่อนการฝึกอบรมและหลักสูตรของเราเมื่อเปรียบเทียบกับความหลากหลายของเส้นเขตแดน "SDCUP: หลักสูตรการฝึกอบรมการขึ้นอยู่กับการพึ่งพาส Under Review
Latticebert (15 มีนาคม 2564): เราเสนอกระบวนทัศน์การฝึกอบรมก่อนการฝึกอบรมนวนิยายสำหรับภาษาจีน-Lattice-Bert ซึ่งรวมเอาการแสดงคำเข้ากับตัวละครอย่างชัดเจนดังนั้นจึงสามารถสร้างแบบจำลองประโยคในลักษณะที่หลากหลาย "Lattice-Bert: การใช้ประโยชน์จากการเป็นตัวแทนหลายระดับในรูปแบบภาษาที่ผ่านการฝึกอบรมมาก่อนภาษาจีน" ( NAACL 2021 )
structurallm (15 มีนาคม 2564): โมเดลที่ผ่านการฝึกอบรมมาก่อนเพื่อ ทำความเข้าใจภาพเอกสาร เราเสนอวิธีการฝึกอบรมล่วงหน้าใหม่โครงสร้างเพื่อใช้ประโยชน์จากเซลล์และข้อมูลเค้าโครงจากเอกสารที่สแกน โครงสร้างที่ผ่านการฝึกอบรมมาก่อนจะได้รับผลลัพธ์ที่ทันสมัยใหม่ในงานประเภทที่แตกต่างกัน "structurallm: โครงสร้างก่อนการฝึกอบรมเพื่อทำความเข้าใจรูปแบบ" ( ACL 2021 )
structvbert (15 มีนาคม 2564): แบบจำลองที่ผ่านการฝึกอบรมมาก่อนเพื่อ ความเข้าใจภาษาวิสัยทัศน์ เราเสนอรูปแบบการฝึกอบรมแบบทัศนศิลป์แบบสตรีมเดี่ยวแบบใหม่โดยใช้ประโยชน์จากการฝึกอบรมก่อนการฝึกอบรมแบบหลายขั้นตอนและการเรียนรู้แบบหลายงาน Structvbert ได้รับรางวัล Runner-Up Runner-Up 2020 และผล SOTA ในเกณฑ์มาตรฐานการทดสอบสาธารณะ VQA 2020 (มิถุนายน 2563) "Talk Slides" ( CVPR 2020 VQA Challenge Runner-up )
VECO V0 (15 มีนาคม 2021): โมเดลที่ผ่านการฝึกอบรมมาก่อนสำหรับ การทำความเข้าใจภาษาธรรมชาติ (X-NLU) และการสร้าง (X-NLG) VECO (V0) บรรลุ ผล SOTA ใหม่ ในงานความเข้าใจข้ามภาษาที่หลากหลายของเกณฑ์มาตรฐาน XTREME, ครอบคลุมการจำแนกประเภทข้อความ, การติดฉลากลำดับ, การตอบคำถามและการดึงประโยค สำหรับงานการสร้างแบบข้ามภาษามันยังมีประสิทธิภาพสูงกว่ารุ่นข้ามภาษาที่มีอยู่ทั้งหมดและตัวแปรหม้อแปลงที่ล้ำสมัยบน WMT14 ชุดข้อมูลการแปลภาษาอังกฤษเป็นภาษาอังกฤษและภาษาอังกฤษเป็นภาษาฝรั่งเศส “ VECO: การฝึกอบรมตัวแปรตัวแปรล่วงหน้าสำหรับการฝึกอบรมและการสร้างแบบข้ามภาษาและการสร้าง” ( ACL 2021 )
Palm (15 มีนาคม 2021): โมเดลที่ผ่านการฝึกอบรมมาก่อนสำหรับ การสร้างภาษาธรรมชาติ (NLG) เราเสนอรูปแบบใหม่ที่ร่วมกันควบคุมโมเดลภาษาอัตโนมัติและโมเดลภาษาอัตโนมัติบนคลังข้อมูลขนาดใหญ่ที่ไม่มีป้ายกำกับซึ่งออกแบบมาโดยเฉพาะสำหรับการสร้างข้อความใหม่ที่มีเงื่อนไขในบริบท มันบรรลุผล SOTA ใหม่ในงานดาวน์สตรีมหลายงาน "ปาล์ม: การฝึกอบรมล่วงหน้าแบบจำลองภาษาอัตโนมัติและแบบอัตโนมัติสำหรับรุ่นที่ปรับสภาพบริบท" ( EMNLP 2020 )
Structbert (15 มีนาคม 2564): แบบจำลองที่ผ่านการฝึกอบรมมาก่อนเพื่อ ความเข้าใจภาษาธรรมชาติ (NLU) เราขยายเบิร์ตไปยังโมเดลใหม่ Structbert โดยการรวมโครงสร้างภาษาเข้ากับการฝึกอบรมก่อน โดยเฉพาะอย่างยิ่งเราฝึกซ้อมโครงสร้างด้วยสองงานเสริมเพื่อใช้ประโยชน์จากลำดับคำและประโยคที่ต่อเนื่องที่สุดซึ่งใช้ประโยชน์จากโครงสร้างภาษาในระดับคำและประโยคตามลำดับ "structbert: การรวมโครงสร้างภาษาเข้ากับการฝึกอบรมล่วงหน้าเพื่อการทำความเข้าใจภาษาลึก" ( ICLR 2020 )
EMNLP 2021 ) การตัดกัน (17 ธันวาคม 2564): การตัดแต่งกิ่ง (CAP) เป็น กรอบการตัดแต่งกิ่งทั่วไปภายใต้กระบวนทัศน์ก่อนการฝึกอบรมและการปรับแต่ง ซึ่งมีจุดมุ่งหมายในการรักษาความรู้เฉพาะงานและงาน CAP ได้รับการออกแบบให้เป็นกรอบทั่วไปซึ่งเข้ากันได้กับการตัดแต่งกิ่งทั้งแบบโครงสร้างและไม่มีโครงสร้าง เป็นเอกภาพในการเรียนรู้ที่ตรงกันข้าม CAP ส่งเสริมรูปแบบการตัดแต่งเพื่อเรียนรู้จากโมเดลที่ผ่านการฝึกอบรมมาก่อนสแนปชอต (โมเดลกลางระหว่างการตัดแต่งกิ่ง) และโมเดลที่ปรับแต่งตามลำดับ “ จากความหนาแน่นถึงกระจัดกระจาย: การตัดแต่งกิ่งที่ตรงกันข้ามเพื่อการบีบอัดแบบจำลองภาษาที่ผ่านการฝึกอบรมมาก่อน” ( AAAI 2022 )
PST (23 พฤษภาคม 2022): การฝึกอบรมแบบเบาบางพารามิเตอร์ (PST) คือการลดจำนวนพารามิเตอร์ที่สามารถฝึกอบรมได้ในระหว่างการฝึกอบรมแบบเบาบางในงานดาวน์สตรีม มันรวมเกณฑ์ที่ปราศจากข้อมูลและข้อมูลที่ขับเคลื่อนด้วยข้อมูลเพื่อวัดความสำคัญของน้ำหนักอย่างมีประสิทธิภาพและแม่นยำและตรวจสอบความซ้ำซ้อนที่แท้จริงของความสำคัญของน้ำหนักที่ขับเคลื่อนด้วยข้อมูลและได้รับสองลักษณะที่ชัดเจนคือความปลอดภัยต่ำและโครงสร้าง “ sparsity พารามิเตอร์-ประสิทธิภาพสำหรับรุ่นภาษาขนาดใหญ่ปรับแต่ง” ( IJCAI 2022 )
เว็บไซต์ทางการของ Alicemind : https://nlp.aliyun.com/portal#/alice
แพลตฟอร์ม Open Alicemind : https://alicemind.aliyuncs.com
โปรดส่งปัญหา GitHub หากคุณต้องการความช่วยเหลือหรือมีปัญหาในการใช้อลิซ
สำหรับข้อมูลเพิ่มเติมคุณสามารถเข้าร่วม AliceMind Users Group บน Dingtalk เพื่อติดต่อเรา จำนวนของกลุ่ม dingtalk คือ 35738533
สำหรับการสื่อสารทางธุรกิจอื่น ๆ กรุณาติดต่อ [email protected]
Alicemind เปิดตัวภายใต้ใบอนุญาต Apache 2.0
Copyright 1999-2020 Alibaba Group Holding Ltd.
Licensed under the Apache License, Version 2.0 (the "License");
you may not use this file except in compliance with the License.
You may obtain a copy of the License at the following link.
http://www.apache.org/licenses/LICENSE-2.0
Unless required by applicable law or agreed to in writing, software
distributed under the License is distributed on an "AS IS" BASIS,
WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
See the License for the specific language governing permissions and
limitations under the License.
