Zhiyuan Research Institute baru-baru ini merilis generasi baru model dasar multi-modal Emu2, yang telah membuat terobosan signifikan dalam kemampuan pembelajaran konteks multi-modal. Melalui pra-pelatihan multi-modal generatif autoregresif berskala besar, Emu2 bekerja dengan baik dalam tugas pemahaman multi-modal beberapa sampel, melampaui model arus utama seperti Flamingo-80B dan IDEFICS-80B, dan telah bekerja dengan baik dalam beberapa pemahaman beberapa sampel, menjawab pertanyaan visual dan Mencapai kinerja optimal pada tugas pembuatan gambar. Emu2 berisi dua aplikasi utama: Emu2-Chat dan Emu2-Gen, yang masing-masing berfokus pada pemahaman instruksi gambar dan teks serta pembuatan gambar/video.
Zhiyuan Research Institute telah merilis generasi baru model dasar multi-modal Emu2, yang secara signifikan mendorong terobosan dalam kemampuan pembelajaran konteks multi-modal melalui pra-pelatihan multi-modal generatif autoregresif skala besar. Emu2 bekerja dengan baik pada beberapa sampel tugas pemahaman multi-modal, melampaui model besar multi-modal yang telah dilatih sebelumnya, Flamingo-80B dan IDEFICS-80B. Emu2 telah mencapai kinerja optimal dalam beberapa pemahaman beberapa kali, menjawab pertanyaan visual, dan tugas pembuatan gambar. Emu2-Chat dapat secara akurat memahami instruksi grafis dan teks untuk mencapai persepsi informasi, pemahaman niat, dan perencanaan pengambilan keputusan yang lebih baik. Emu2-Gen dapat menerima gambar, teks, dan urutan posisi yang disisipkan sebagai masukan untuk mencapai pembuatan gambar dan video yang fleksibel, terkendali, dan berkualitas tinggi. Emu2 mengadopsi kerangka pemodelan yang lebih sederhana dan menskalakan model ke parameter 37B. Untuk detailnya, silakan merujuk ke tautan proyek yang dirilis oleh Zhiyuan Research Institute.Dengan kinerja yang kuat dan kerangka kerja yang ringkas, Emu2 menunjukkan kemajuan terkini di bidang kecerdasan buatan multimodal dan memberikan landasan yang kuat untuk pengembangan aplikasi multimodal di masa depan. Inovasi berkelanjutan dari Zhiyuan Research Institute patut dinantikan.