tiny_multimodal

微小的多模式

許多多模型模型的簡單且“微小”的實現。它支持培訓/填充/部署這些小型型號。與流行的“大型”型號不同，此存儲庫中的所有模型都將被限制在我的RTX 3080 TI上訓練，因此實施將與原始論文完全相同。

快速開始

創建環境

 conda create -n tinym python=3.10
conda activate tinym

git clone [email protected]:RobinDong/tiny_multimodal.git
cd tiny_multimodal
python -m pip install -r requirements.txt

準備培訓數據集

從擁抱面下載概念12m到目錄cc12m-wds 。

使用utils/extract_tars.py將cc12m轉換為現成格式：

 python utils/extract_tars.py --input_path=<YOUR_DIR>/cc12m-wds/ --output_path=<YOUR_OUTPUT_PATH> --jobs=<YOUR_CPU_CORES>

火車

 python train.py --provider CLIP

致謝

此存儲庫仍在開發中。請耐心等待更多的多模式模型。

歡迎任何問題或拉的請求。