tiny_multimodal

Multimodal kecil

Implementasi sederhana dan "kecil" dari banyak model multimodal. Ini mendukung pelatihan/finetuning/menggunakan model-model berukuran kecil ini. Berbeda dengan model "besar" yang populer, semua model dalam repo ini akan dibatasi untuk berlatih di RTX 3080 saya Ti sehingga implementasinya tidak akan sama dengan makalah asli.

Awal yang cepat

menciptakan lingkungan

 conda create -n tinym python=3.10
conda activate tinym

git clone [email protected]:RobinDong/tiny_multimodal.git
cd tiny_multimodal
python -m pip install -r requirements.txt

Siapkan dataset untuk pelatihan

Unduh Conseptual-12m dari HuggingFace ke Direktori cc12m-wds .

Gunakan utils/extract_tars.py untuk mengonversi cc12m menjadi format siap pakai:

 python utils/extract_tars.py --input_path=<YOUR_DIR>/cc12m-wds/ --output_path=<YOUR_OUTPUT_PATH> --jobs=<YOUR_CPU_CORES>

kereta

 python train.py --provider CLIP

Ucapan Terima Kasih

Repo ini masih berkembang. Harap bersabar untuk lebih banyak model multi-modal.

Masalah atau permintaan tarik apa pun diterima.