tiny_multimodal
1.0.0
Eine einfache und "winzige" Implementierung vieler multimodaler Modelle. Es unterstützt Schulungen/Finetuning/Bereitstellung dieser winzigen Modelle. Im Gegensatz zu den beliebten "großen" Modellen werden alle Modelle in diesem Repo auf meine RTX 3080 TI beschränkt, sodass die Implementierung nicht ganz mit den Originalpapieren gleich sein wird.
conda create -n tinym python=3.10
conda activate tinym
git clone [email protected]:RobinDong/tiny_multimodal.git
cd tiny_multimodal
python -m pip install -r requirements.txt
Laden Sie Conceptual-12m von Huggingface zum Verzeichnis cc12m-wds herunter.
Verwenden Sie utils/extract_tars.py um CC12M in einsatzbereites Format umzuwandeln:
python utils/extract_tars.py --input_path=<YOUR_DIR>/cc12m-wds/ --output_path=<YOUR_OUTPUT_PATH> --jobs=<YOUR_CPU_CORES>
python train.py --provider CLIP
Dieses Repo ist immer noch in der Entwicklung. Bitte machen Sie geduldig für mehr multimodale Modelle.
Jegliche Ausgabe oder Pull -Anfrage ist willkommen.
