tiny_multimodal

Крошечный мультимодальный

Простая и «крошечная» реализация многих мультимодальных моделей. Он поддерживает обучение/создание/развертывание этих крошечных моделей. В отличие от популярных «больших» моделей, все модели в этом репо будут ограничены для обучения на моем RTX 3080 TI, чтобы реализация не была совсем такой же для оригинальных работ.

Быстрый старт

Создать среду

 conda create -n tinym python=3.10
conda activate tinym

git clone [email protected]:RobinDong/tiny_multimodal.git
cd tiny_multimodal
python -m pip install -r requirements.txt

Подготовьте набор данных для обучения

Загрузите концептуальную 12m от Huggingface до каталога cc12m-wds .

Используйте utils/extract_tars.py , чтобы преобразовать CC12M в формат готового к использованию:

 python utils/extract_tars.py --input_path=<YOUR_DIR>/cc12m-wds/ --output_path=<YOUR_OUTPUT_PATH> --jobs=<YOUR_CPU_CORES>

тренироваться

 python train.py --provider CLIP

Благодарности

Это репо все еще в развитии. Пожалуйста, будьте терпеливы за более многомодальные модели.

Любая проблема или запрос на вытягивание приветствуется.