tiny_multimodal

小さなマルチモーダル

多くのマルチモーダルモデルのシンプルで「小さな」実装。これらの小さなサイズのモデルのトレーニング/微調整/展開をサポートします。人気のある「大規模」モデルとは異なり、このレポのすべてのモデルはRTX 3080 TIでトレーニングするように制限されているため、実装は元の論文とはまったく同じではありません。

クイックスタート

環境を作成します

 conda create -n tinym python=3.10
conda activate tinym

git clone [email protected]:RobinDong/tiny_multimodal.git
cd tiny_multimodal
python -m pip install -r requirements.txt

トレーニング用のデータセットを準備します

HuggingfaceからDirectory cc12m-wdsにconceptual-12mをダウンロードします。

utils/extract_tars.pyを使用して、cc12mをすぐに使用できる形式に変換します。

 python utils/extract_tars.py --input_path=<YOUR_DIR>/cc12m-wds/ --output_path=<YOUR_OUTPUT_PATH> --jobs=<YOUR_CPU_CORES>

電車

 python train.py --provider CLIP

謝辞

このレポはまだ開発中です。より多くのマルチモーダルモデルについては、我慢してください。

問題やプルリクエストは大歓迎です。