mmpretrain

문서 | 설치 | ? 모델 동물원 | ? 뉴스 업데이트 | ? 보고 문제

영어 | 简体中文

소개

MMPRETRAIN은 PyTorch를 기반으로 한 오픈 소스 사전 훈련 도구 상자입니다. OpenMMLAB 프로젝트의 일부입니다.

main 브랜치는 Pytorch 1.8+ 와 함께 작동합니다.

주요 기능

• 다양한 백본과 사전 치료 모델
• 풍부한 교육 전략 (감독 학습, 자기 감독 학습, 다중 양식 학습 등)
• 훈련 트릭 가방
• 대규모 교육 구성
• 고효율 및 확장 성
• 모델 분석 및 실험을위한 강력한 툴킷
• 다양한 박스 외지 추론 작업.
  • 이미지 분류
  • 이미지 캡션
  • 시각적 질문 답변
  • 시각적 접지
  • 검색 (image-to-image, 텍스트-이미지, 이미지-텍스트)

mmpretrain.mp4

새로운 것

? v1.2.0은 04/01/2023에 출시되었습니다

• Llava 1.5를 지원합니다.
• Gradio 인터페이스가있는 RAM 구현.

? V1.1.0은 20123 년 12 월 10 일에 출시되었습니다

• Mini-GPT4 교육 지원 및 중국 모델 제공 (Baichuan-7B 기반)
• 클립을 기반으로 제로 샷 분류를 지원합니다.

? V1.0.0은 04/07/2023에 출시되었습니다

• LLAVA , MINIGPT-4 , OTTER 등과 같은 다중 모드 알고리즘의 지원 추론.
• 약 10 개의 멀티 모달 데이터 세트를 지원하십시오!
• ITPN을 추가하고 자체 감독 학습 알고리즘을 스파크하십시오 .
• FlexiblerUnner와 함께 새로운 구성 및 DeepSpeed/FSDP의 예를 제공하십시오. 다음은 FlexiblerUnner와 새로운 구성 및 DeepSpeed/FSDP의 문서 링크입니다.

? mmclassification에서 mmpretrain으로 업그레이드합니다

• MAE , BEIT 등과 같은 MMSelfsup 의 통합 자체 감독 학습 알고리즘.
• 토큰 믹서를 제거하여 간단하지만 효과적인 비전 백본 인 Riformer를 지원합니다.
• 리팩터 데이터 세트 파이프 라인 시각화.
• LEVIT , XCIT , VIG , CONDNEXT-V2 , EVA , RevVIT , ENGICIONNETV2 , CLIP , TINYVIT 및 MIXMIM 백본을 지원합니다.

이 릴리스는 새롭고 유연한 교육 및 테스트 엔진을 소개했지만 여전히 진행 중입니다. 문서에 따라 시도해보십시오.

그리고 BC 브레이크 변화가 있습니다. 마이그레이션 튜토리얼을 확인하십시오.

자세한 내용 및 기타 릴리스 기록은 Changelog를 참조하십시오.

설치

아래는 설치를위한 빠른 단계입니다.

conda create -n open-mmlab python=3.8 pytorch==1.10.1 torchvision==0.11.2 cudatoolkit=11.3 -c pytorch -y
conda activate open-mmlab
pip install openmim
git clone https://github.com/open-mmlab/mmpretrain.git
cd mmpretrain
mim install -e .

자세한 설치 및 데이터 세트 준비는 설치 문서를 참조하십시오.

다중 유산 모델 지원은 다음과 같이 추가 종속성을 설치하십시오.

mim install -e " .[multimodal] " 

사용자 안내서

우리는 새로운 사용자를위한 MMPretrain의 기본 사용에 관한 일련의 튜토리얼을 제공했습니다.

• 구성에 대해 알아보십시오
• 데이터 세트를 준비하십시오
• 기존 모델과의 추론
• 기차
• 시험
• 다운 스트림 작업

자세한 내용은 문서를 참조하십시오.

모델 동물원

결과와 모델은 모델 동물원에서 제공됩니다.

개요

지원되는 백본	자기 감독 학습	다중 유체 알고리즘	기타
vgg RESNET Resnext Se-Resnet se-resnext regnet 셔플 레넷 v1 셔플 레넷 v2 Mobilenet V2 Mobilenet V3 Swin-Transformer Swin-Transformer v2 repvgg 비전 변환기 변압기-변환기 res2net MLP 믹서 Deit DEIT-3 적합성 T2T-VIT 쌍둥이 효율적인 넷 edgenext 컨텍스트 HRNET 봉고차 Convmixer CSPNET 풀 폼 Inception v3 MobileOne 효율적인 성능 MVIT 호넷 MobileVit 닻 기둥 replknet BEIT MixMim 효율적인 v2 Revvit CONDXT V2 vig XCIT 레위 균일 자 글립 vit 샘 EVA02 디노 V2 hivit	Moco V1 (CVPR'2020) simclr (ICML'2020) Moco V2 (Arxiv'2020) Byol (Neurips'2020) Swav (Neurips'2020) densecl (CVPR'2021) Simsiam (CVPR'2021) Barlow Twins (ICML'2021) Moco V3 (ICCV'2021) BEIT (ICLR'2022) Mae (CVPR'2022) Simmim (CVPR'2022) 마스크 피트 (CVPR'2022) Cae (Arxiv'2022) 밀라노 (Arxiv'2022) BEIT V2 (Arxiv'2022) EVA (CVPR'2023) Mixmim (Arxiv'2022) ITPN (CVPR'2023) 스파크 (ICLR'2023) MFF (ICCV'2023)	Blip (Arxiv'2022) Blip-2 (Arxiv'2023) OFA (Corr'2022) 플라밍고 (Neurips'2022) 중국 클립 (Arxiv'2022) Minigpt-4 (Arxiv'2023) llava (Arxiv'2023) Otter (Arxiv'2023)	이미지 검색 작업 : Arcface (CVPR'2019) 교육 및 테스트 팁 : Randaug autoaug 반복 샘플러 TTA ...

기여

MMPRETRAIN을 개선하기위한 모든 기여에 감사드립니다. 기고 가이드 라인에 대해서는 논란의 여지가 있습니다.

승인

MMPRETRAIN은 다양한 대학 및 회사의 연구원과 엔지니어가 기여하는 오픈 소스 프로젝트입니다. 우리는 자신의 방법을 구현하거나 새로운 기능을 추가하는 모든 기고자와 귀중한 피드백을 제공하는 사용자에게 감사합니다. 우리는 도구 상자와 벤치 마크가 기존 방법을 다시 구현하고 자체 학업 연구를 지원하기 위해 유연한 툴킷을 제공함으로써 성장하는 연구 커뮤니티에 서비스를 제공하기를 바랍니다.

소환

이 프로젝트가 연구에 유용하다고 생각되면 인용을 고려하십시오.

 @misc { 2023mmpretrain ,
    title = { OpenMMLab's Pre-training Toolbox and Benchmark } ,
    author = { MMPreTrain Contributors } ,
    howpublished = { url{https://github.com/open-mmlab/mmpretrain} } ,
    year = { 2023 }
}

특허

이 프로젝트는 Apache 2.0 라이센스에 따라 릴리스됩니다.

OpenMMLab의 프로젝트

• Mmengine : 딥 러닝 모델 교육을위한 OpenMMLAB 기초 라이브러리.
• MMCV : 컴퓨터 비전을위한 OpenMMLAB 기초 라이브러리.
• MIM : MIM은 OpenMMLAB 패키지를 설치합니다.
• MMEVAL : 여러 기계 학습 라이브러리를위한 통합 평가 라이브러리.
• MMPRETRAIN : OpenMMLAB 사전 훈련 도구 상자 및 벤치 마크.
• MMDetection : OpenMMLAB 감지 도구 상자 및 벤치 마크.
• mmdetection3d : 일반 3D 객체 감지를위한 OpenMMLab의 차세대 플랫폼.
• MMROTATE : OpenMMLAB 회전 된 객체 감지 도구 상자 및 벤치 마크.
• MMYOLO : OpenMMLAB YOLO 시리즈 도구 상자 및 벤치 마크.
• MMSEMENTATION : OpenMMLAB 시맨틱 세분화 도구 상자 및 벤치 마크.
• mmocr : OpenMMLAB 텍스트 감지, 인식 및 도구 상자 이해.
• MMPES : OpenMMLAB 포즈 추정 도구 상자 및 벤치 마크.
• MMHUMAN3D : OpenMMLAB 3D 휴먼 파라 메트릭 모델 도구 상자 및 벤치 마크.
• mmselfsup : OpenMMLAB 자체 감독 학습 도구 상자 및 벤치 마크.
• MMRAZOR : OpenMMLAB 모델 압축 도구 상자 및 벤치 마크.
• MMFEWSHOT : OpenMMLAB MEWSHOT 학습 도구 상자 및 벤치 마크.
• MMACTION2 : OpenMMLAB의 차세대 액션 이해 도구 상자 및 벤치 마크.
• MMTracking : OpenMMLAB 비디오 인식 도구 상자 및 벤치 마크.
• MMFLOW : OpenMMLAB 광학 흐름 도구 상자 및 벤치 마크.
• MMAGIC : MM 실험실을 열고, vvanced , g engative 및 i ntellignent c reation 도구 상자를 엽니 다.
• mmgeneration : OpenMMLAB 이미지 및 비디오 생성 모델 도구 상자.
• MMDEPLOY : OpenMMLAB 모델 배포 프레임 워크.
• 놀이터 : OpenMMLab에 구축 된 놀라운 프로젝트를 수집하고 전시하기위한 중앙 허브.