tiny_multimodal

Pequeño multimodal

Una implementación simple y "pequeña" de muchos modelos multimodales. Apoya la capacitación/Finetuning/Implementación de estos modelos de tamaño pequeño. A diferencia de los populares modelos "grandes", todos los modelos en este repositorio se limitarán a entrenar en mi RTX 3080 TI para que la implementación no sea totalmente las mismas para los documentos originales.

comienzo rápido

crear entorno

 conda create -n tinym python=3.10
conda activate tinym

git clone [email protected]:RobinDong/tiny_multimodal.git
cd tiny_multimodal
python -m pip install -r requirements.txt

Prepare el conjunto de datos para la capacitación

Descargue Conceptual-12m de Huggingface a Directory cc12m-wds .

Use utils/extract_tars.py para convertir CC12M en formato listo para usar:

 python utils/extract_tars.py --input_path=<YOUR_DIR>/cc12m-wds/ --output_path=<YOUR_OUTPUT_PATH> --jobs=<YOUR_CPU_CORES>

tren

 python train.py --provider CLIP

expresiones de gratitud

Este repositorio todavía está en desarrollo. Sea paciente para más modelos multimodales.

Cualquier problema o solicitud de extracción es bienvenida.