tiny_multimodal

작은 멀티 모드

많은 멀티 모달 모델의 단순하고 "작은"구현. 이 작은 크기의 모델을 교육/양정/배포하는 것을 지원합니다. 인기있는 "대형"모델과 달리,이 리포지토리의 모든 모델은 RTX 3080 Ti에 대한 훈련으로 제한되므로 구현은 원래 논문과 완전히 동일하지 않습니다.

빠른 시작

환경을 만듭니다

 conda create -n tinym python=3.10
conda activate tinym

git clone [email protected]:RobinDong/tiny_multimodal.git
cd tiny_multimodal
python -m pip install -r requirements.txt

교육을 위해 데이터 세트를 준비하십시오

cc12m-wds

utils/extract_tars.py 사용하여 cc12m을 즉시 사용 가능한 형식으로 변환하십시오.

 python utils/extract_tars.py --input_path=<YOUR_DIR>/cc12m-wds/ --output_path=<YOUR_OUTPUT_PATH> --jobs=<YOUR_CPU_CORES>

기차

 python train.py --provider CLIP

감사의 말

이 저장소는 여전히 개발 중입니다. 더 많은 멀티 모달 모델을 위해 인내심을 가지십시오.

모든 문제 또는 풀 요청을 환영합니다.