tiny_multimodal

Minuscule multimodal

Une implémentation simple et «minuscule» de nombreux modèles multimodaux. Il soutient la formation / la fineturation / le déploiement de ces modèles de taille minuscule. Contrairement aux "grands" modèles populaires, tous les modèles de ce dépôt seront limités à s'entraîner sur mon RTX 3080 TI, donc la mise en œuvre ne sera pas totalement la même pour les articles d'origine.

démarrage rapide

créer un environnement

 conda create -n tinym python=3.10
conda activate tinym

git clone [email protected]:RobinDong/tiny_multimodal.git
cd tiny_multimodal
python -m pip install -r requirements.txt

Préparer un ensemble de données pour la formation

Téléchargez Conceptual-12m de HuggingFace au répertoire cc12m-wds .

Utilisez utils/extract_tars.py pour convertir CC12M au format prêt à l'emploi:

 python utils/extract_tars.py --input_path=<YOUR_DIR>/cc12m-wds/ --output_path=<YOUR_OUTPUT_PATH> --jobs=<YOUR_CPU_CORES>

former

 python train.py --provider CLIP

remerciements

Ce repo est toujours en développement. Veuillez être patient pour des modèles plus multimodaux.

Tout problème ou demande de traction est le bienvenu.