MMF adalah kerangka kerja modular untuk penelitian multimodal visi dan bahasa dari penelitian Facebook AI. MMF berisi implementasi referensi model visi dan bahasa canggih dan telah mendukung beberapa proyek penelitian di Facebook AI Research. Lihat daftar lengkap proyek di dalam atau dibangun di MMF di sini.
MMF ditenagai oleh Pytorch, memungkinkan pelatihan terdistribusi dan tidak diopinionasi, dapat diskalakan dan cepat. Gunakan MMF untuk bootstrap untuk proyek penelitian multimodal visi dan bahasa Anda berikutnya dengan mengikuti instruksi instalasi. Lihatlah daftar fitur MMF di sini.
MMF juga bertindak sebagai basis kode starter untuk tantangan seputar set data penglihatan dan bahasa (meme kebencian, TextVQA, TextCaps, dan tantangan VQA). MMF sebelumnya dikenal sebagai Pythia. Video berikutnya menunjukkan ikhtisar tentang bagaimana dataset dan model bekerja di dalam MMF. Periksa ikhtisar video MMF.
Ikuti instruksi instalasi dalam dokumentasi.
Pelajari lebih lanjut tentang MMF di sini.
Jika Anda menggunakan MMF dalam pekerjaan Anda atau menggunakan model apa pun yang diterbitkan di MMF, silakan kutip:
@misc { singh2020mmf ,
author = { Singh, Amanpreet and Goswami, Vedanuj and Natarajan, Vivek and Jiang, Yu and Chen, Xinlei and Shah, Meet and
Rohrbach, Marcus and Batra, Dhruv and Parikh, Devi } ,
title = { MMF: A multimodal framework for vision and language research } ,
howpublished = { url{https://github.com/facebookresearch/mmf} } ,
year = { 2020 }
}MMF dilisensikan di bawah lisensi BSD yang tersedia dalam file lisensi