tiny_multimodal

Minúsculo multimodal

Uma implementação simples e "pequena" de muitos modelos multimodais. Ele suporta treinamento/Finetuning/implantando esses modelos de tamanho pequeno. Ao contrário dos populares modelos "grandes", todos os modelos neste repositório serão restritos a treinar no meu RTX 3080 Ti, para que a implementação não seja totalmente a mesma para os artigos originais.

Início rápido

criar ambiente

 conda create -n tinym python=3.10
conda activate tinym

git clone [email protected]:RobinDong/tiny_multimodal.git
cd tiny_multimodal
python -m pip install -r requirements.txt

Prepare o conjunto de dados para treinamento

Faça o download conceitual-12m do huggingface ao diretório cc12m-wds .

Use utils/extract_tars.py para converter CC12M em formato pronto para uso:

 python utils/extract_tars.py --input_path=<YOUR_DIR>/cc12m-wds/ --output_path=<YOUR_OUTPUT_PATH> --jobs=<YOUR_CPU_CORES>

trem

 python train.py --provider CLIP

Agradecimentos

Este repositório ainda está em desenvolvimento. Seja paciente para modelos mais multimodais.

Qualquer problema ou solicitação de tração é bem -vindo.