AliceMind
v1.0
Repositori ini menyediakan model encoder-decoder pra-terlatih dan teknik optimisasi terkait yang dikembangkan oleh Lab Alibaba's Mind (Machine Intelligence of Damo).
Keluarga Alicemind:
CVPR 2024 )EMNLP 2023 )ICML 2023 )EMNLP 2022 )Under Review )NAACL 2021 )ACL 2021 )CVPR 2020 VQA Challenge Runner-up )ACL 2021 )EMNLP 2020 )ICLR 2020 )IJCAI 2022 )EMNLP 2021 )AAAI 2022 ) MPLUG-HOW (27 April 2023): Paradigma pelatihan baru dengan desain modularisasi untuk model bahasa multi-modal besar. Belajar pengetahuan visual sambil mendukung percakapan multi-turn yang terdiri dari modalitas yang berbeda. Kemampuan yang diamati seperti korelasi multi-gambar dan pemahaman teks adegan, pemahaman dokumen berbasis penglihatan. Lepaskan evaluasi instruksi yang berhubungan secara visual yang ditetapkan Owleval. MPLUG-OWL: Modularisasi memberdayakan model bahasa besar dengan multimodality
CHATPLUG (16 April 2023): Sistem dialog domain terbuka Cina untuk aplikasi manusia digital yang instruksi finetunes pada berbagai tugas dialog dalam format yang disatukan internet. Berbeda dari model dialog domain terbuka lainnya yang berfokus pada pra-pelatihan skala besar dan meningkatkan ukuran model atau corpus dialog, kami bertujuan untuk membangun sistem dialog yang kuat dan praktis untuk manusia digital dengan keterampilan yang beragam dan generalisasi multi-tugas yang baik dengan penyetelan instruksi yang beragama di internet. CHATPLUG: Sistem dialog generatif domain terbuka dengan penyetelan instruksi untuk internet untuk manusia digital
MPLUG (1 September 2022): Model pra-terlatih skala besar untuk pemahaman dan generasi penglihatan-penglihatan. MPLUG adalah ujung ke ujung yang terlatih pada pasangan teks gambar skala besar dengan tujuan diskriminatif dan generatif. Ini mencapai hasil canggih pada berbagai tugas hilir bahasa penglihatan, termasuk pengambilan gambar, pengambilan gambar-teks, pembumian visual dan menjawab pertanyaan visual. MPLUG: Pembelajaran multi-modal yang efektif dengan koneksi lewati lintas-modal ( EMNLP 2022 )
Plug (1 September 2022): Model pra-terlatih Cina skala besar untuk pemahaman dan generasi . Plug (27B) adalah model pra-pelatihan Cina skala besar untuk pemahaman dan pembuatan bahasa. Pelatihan plug adalah dua tahap, tahap pertama adalah encoder structbert 24-lapis, dan tahap kedua adalah penyandian palem 24-6-lapis.
SDCUP (6 September 2021): Model pra-terlatih untuk pemahaman tabel . Kami merancang tujuan pra-pelatihan ketergantungan skema untuk memaksakan bias induktif yang diinginkan ke dalam representasi yang dipelajari untuk pra-pelatihan tabel. Kami lebih lanjut mengusulkan pendekatan pembelajaran kurikulum yang sadar skema untuk mengurangi dampak kebisingan dan belajar secara efektif dari data pra-pelatihan dengan cara yang mudah. Hasil percobaan pada squall dan laba-laba menunjukkan efektivitas tujuan dan kurikulum pra-pelatihan kami dibandingkan dengan berbagai garis dasar. "SDCUP: Ketergantungan Skema Kurikulum Peningkatan Pra-Pelatihan untuk Parsing Semantik Tabel" ( Under Review )
Latticebert (15 Maret 2021): Kami mengusulkan paradigma pra-pelatihan baru untuk bahasa Cina-kisi-Bert yang secara eksplisit menggabungkan representasi kata dengan karakter, sehingga dapat memodelkan kalimat dengan cara multi-granularitas. "Lattice-Bert: Memanfaatkan representasi multi-granularitas dalam model bahasa pra-terlatih Cina" ( NAACL 2021 )
Structurallm (15 Maret 2021): Model pra-terlatih untuk pemahaman dokumen-gambar . Kami mengusulkan pendekatan pra-pelatihan baru, structurallm, untuk bersama-sama memanfaatkan informasi sel dan tata letak dari dokumen yang dipindai. Struktur pra-terlatih mencapai hasil canggih baru dalam berbagai jenis tugas hilir. "Structurallm: Pra-Pelatihan Struktural untuk Pemahaman Bentuk" ( ACL 2021 )
Structvbert (15 Maret 2021): Model pra-terlatih untuk pemahaman penglihatan-bahasa . Kami mengusulkan skema pra-pelatihan visual-linguistik tunggal baru dengan memanfaatkan pra-pelatihan progresif multi-tahap dan pembelajaran multi-tugas. Structvbert memperoleh penghargaan runner-up 2020 VQA Challenge, dan Hasil SOTA pada VQA 2020 Benchmark Public Test-Standard (Juni 2020). "Talk Slide" ( CVPR 2020 VQA Challenge Runner-up ).
VECO V0 (15 Maret 2021): Model pra-terlatih untuk pemahaman Bahasa Natural Cross-Lingual (X) (X-NLU) dan Generasi (X-NLG) . VECO (V0) mencapai hasil SOTA baru pada berbagai tugas pemahaman lintas-bahasa dari benchmark Xtreme, yang mencakup klasifikasi teks, pelabelan urutan, penjawab pertanyaan, dan pengambilan kalimat. Untuk tugas-tugas generasi lintas-bahasa, ini juga mengungguli semua model lintas-bahasa yang ada dan varian transformator canggih pada wmt14 Bahasa Inggris ke Jerman dan Dataset Terjemahan Bahasa Inggris ke Prancis, dengan keuntungan hingga 1 ~ 2 Bleu. “VECO: Variabel Encoder-Decoder Pre-Training untuk pemahaman dan generasi lintas-bahasa” ( ACL 2021 )
Palm (15 Maret 2021): Model pra-terlatih untuk generasi Bahasa Alami (NLG) . Kami mengusulkan skema baru yang bersama-sama pra-kereta model autoencoding dan autoregressive bahasa pada korpus besar yang tidak berlabel, yang dirancang khusus untuk menghasilkan teks baru yang dikondisikan pada konteks. Ini mencapai hasil SOTA baru dalam beberapa tugas hilir. "Palm: Pra-Pelatihan Model Bahasa Autoencoding & Autoregressive untuk Generasi yang Dikondisikan Konteks" ( EMNLP 2020 )
Structbert (15 Maret 2021): Model pra-terlatih untuk pemahaman bahasa alami (NLU) . Kami memperluas Bert ke model baru, Structbert, dengan memasukkan struktur bahasa ke dalam pra-pelatihan. Secara khusus, kami pra-kereta structbert dengan dua tugas tambahan untuk memanfaatkan urutan kata dan kalimat berurutan, yang masing-masing memanfaatkan struktur bahasa pada tingkat kata dan kalimat. "Structbert: Memasukkan struktur bahasa ke dalam pra-pelatihan untuk pemahaman bahasa yang dalam" ( ICLR 2020 )
EMNLP 2021 ) KontrasvePruning (17 Desember 2021): Pemangkasan Kontrastif (CAP) adalah kerangka pemangkasan umum di bawah paradigma pra-pelatihan dan penyetelan , yang bertujuan mempertahankan pengetahuan khusus tugas dan tugas-agnostik selama pemangkasan. CAP dirancang sebagai kerangka kerja umum, kompatibel dengan pemangkasan terstruktur dan tidak terstruktur. Dibagi dalam pembelajaran yang kontras, CAP mendorong model yang dipangkas untuk belajar dari model pra-terlatih, snapshot (model perantara selama pemangkasan), dan model yang disempurnakan, masing-masing. "Dari padat hingga jarang: pemangkasan kontras untuk kompresi model bahasa pra-terlatih yang lebih baik" ( AAAI 2022 )
PST (23 Mei 2022): Pelatihan Jarang Efisien Parameter (PST) adalah untuk mengurangi jumlah parameter yang dapat dilatih selama pelatihan jarang sadar dalam tugas hilir. Ini menggabungkan kriteria bebas data dan berbasis data untuk mengukur secara efisien dan akurat pentingnya bobot, dan menyelidiki redundansi intrinsik dari kepentingan berat yang didorong data dan mendapatkan dua karakteristik yang jelas yaitu, peringkat rendah dan struktur, yang karenanya membuat hemat sumber daya pelatihan yang jarang dan hemat parameter. “Sparsity yang efisien parameter untuk fine-tuning model bahasa besar” ( IJCAI 2022 )
Situs web resmi Alicemind : https://nlp.aliyun.com/portal#/alice
Alicemind Open Platform : https://alicemind.aliyuncs.com
Harap kirimkan masalah GitHub jika Anda ingin bantuan atau memiliki masalah menggunakan Alice.
Untuk informasi lebih lanjut, Anda dapat bergabung dengan AliceMind Users Group di DingTalk untuk menghubungi kami. Jumlah kelompok DingTalk adalah 35738533.
Untuk komunikasi bisnis lainnya, silakan hubungi [email protected]
Alicemind dirilis di bawah lisensi Apache 2.0.
Copyright 1999-2020 Alibaba Group Holding Ltd.
Licensed under the Apache License, Version 2.0 (the "License");
you may not use this file except in compliance with the License.
You may obtain a copy of the License at the following link.
http://www.apache.org/licenses/LICENSE-2.0
Unless required by applicable law or agreed to in writing, software
distributed under the License is distributed on an "AS IS" BASIS,
WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
See the License for the specific language governing permissions and
limitations under the License.
