EasyCV
영어 | 简体中文
소개
EasyCV는 Pytorch를 기반으로 한 올인원 컴퓨터 비전 도구 상자로, 주로 자체 감독 학습, 변압기 기반 모델 및 이미지 분류, 메트릭 학습, 객체 감지, 포즈 추정 등을 포함한 주요 CV 작업에 중점을 둡니다.
주요 기능
SOTA SSL 알고리즘
EasyCV는 SIMCLR, MOCO V2, SWAV, DINO 및 마스크 이미지 모델링을 기반으로 한 MAE와 같은 대조적 학습을 기반으로 자체 감독 학습에서 최첨단 알고리즘을 제공합니다. 또한 SSL 모델 평가를위한 표준 벤치마킹 도구도 제공합니다.
비전 변압기
EasyCV는 감독 된 학습 또는 VIT, SWIN Transformer 및 DETR 시리즈와 같은 자체 감독 학습을 사용하여 교육을받은 기성품 SOTA 변압기 모델을 쉽게 사용할 수있는 방법을 제공하는 것을 목표로합니다. 앞으로 더 많은 모델이 추가 될 것입니다. 또한 TIMM의 모든 사기꾼 모델을 지원합니다.
기능 및 확장 성
EasyCV는 SSL 외에도 이미지 분류, 객체 감지, 메트릭 학습 및 더 많은 영역이 향후 지원 될 것입니다. EasyCV는 다른 영역을 다루지 만 프레임 워크를 데이터 세트, 모델 및 실행 후크와 같은 다른 구성 요소로 분해하므로 새 구성 요소를 쉽게 추가하고 기존 모듈과 결합 할 수 있습니다.
EasyCV는 추론을위한 간단하고 포괄적 인 인터페이스를 제공합니다. 또한 모든 모델은 PAI-EAS에서 지원되며 온라인 서비스로 쉽게 배포하고 자동 스케일링 및 서비스 모니터링을 지원할 수 있습니다.
능률
EasyCV는 다중 GPU 및 다중 노동자 교육을 지원합니다. EasyCV는 DALI를 사용하여 데이터 IO 및 전처리 프로세스를 가속화하고 Torchaccelerator 및 FP16을 사용하여 교육 프로세스를 가속화합니다. 추론 최적화를 위해 Pai-Blade에서 최적화 할 수있는 JIT 스크립트를 사용한 EasyCV 내보내기 모델
새로운 것
[2023.05.09]
- 09/05/2023 EasyCV V0.11.0이 출시되었습니다.
- [modelscope] (https://github.com/modelscope/modelscope의 플러그인으로 EasyCV를 지원하십시오.
[2023.03.06]
- 06/03/2023 EasyCV V0.10.0이 출시되었습니다.
- 세분화 모델 STDC를 추가하십시오
- 골격 기반 비디오 인식 모델 STGCN을 추가하십시오
- Reid 및 Multi-Len MOT를 지원합니다
[2023.01.17]
- 17/01/2023 EasyCV V0.9.0이 출시되었습니다.
- 단일 렌즈 MOT 지원
- 비디오 인식 지원 (X3D, Swin-Video)
[2022.12.02]
- 02/12/2022 EasyCV V0.8.0이 출시되었습니다.
- Bevformer-Base NDS는 Nuscenes Val에서 0.8 증가했으며 훈련 속도는 10%증가했으며 추론 속도는 40%증가했습니다.
- 지원 Objects365 프리 트레인 및 DINO ++ 모델 추가는 200m의 모델 척도에서 정확도를 달성 할 수 있습니다 (동일한 척도에서 정확도가 가장 좋습니다).
[2022.08.31] 우리는 40 ~ 50 맵 (1ms 미만) 내에 SOTA 결과를 달성하는 Yolox-Pai를 발표했습니다. 또한 End2end 객체 감지를위한 편리하고 빠른 내보내기/예측기 API를 제공합니다. Yolox-Pai를 빠르게 시작하려면 여기를 클릭하십시오!
- 31/08/2022 EasyCV V0.6.0이 출시되었습니다.
- 40 ~ 50 맵 (1ms 미만) 내에서 SOTA 결과를 달성하는 Yolox-Pai 출시
- 코코에서 58.5 맵을 달성하는 감지 알고 디노 추가
- Mask2Former Algo를 추가하십시오
- imagenet1k, imagenet22k, coco, lvis, voc2012 다운로드를 가속화하기 위해 baidudisk와 데이터를 출시합니다.
자세한 내용과 기록은 Change_log.md를 참조하십시오.
기술 기사
EasyCV의 기능에 관한 일련의 기술 기사가 있습니다.
- EasyCV+변압기 算法库
- Mae 自监督算法介绍和基于 EasyCV 的复现
- Easycv v vitdet ： 单层特征超越 fpn
- 基于 EasyCV v detr 和 dab-detr {객체 쿼리 的正确打开方式
- yolox-pai : -p yolox, 比 yolov6 更快更强
- EasyCV fast -FastConvmae
- Easycv Datahub dat dat, 助力模型生产
- EasyCV Mask2former 轻松实现图像分割
설치
설치하려면 Quick_Start.md의 설치 섹션을 참조하십시오.
시작하세요
빠른 시작은 Quick_start.md를 참조하십시오. 또한 더 많은 사용법을위한 튜토리얼도 제공합니다.
- 자기 감독 학습
- 이미지 분류
- 메트릭 학습
- Yolox-Pai를 사용한 물체 감지
- Yolox를 사용한 모델 압축
- Torchacc 사용
- 로컬 및 OSS 파일에 대한 IO를 파일
- EasyCV에서 mmdetection 모델 사용
- 배치 예측 도구
공책
- 자기 감독 학습
- 이미지 분류
- Yolox-Pai를 사용한 물체 감지
- 메트릭 학습
모델 동물원
아키텍처
| 자기 감독 학습 | 이미지 분류 | 물체 감지 | 분할 | 물체 감지 3D |
- Byol (Neurips'2020)
- 디노 (ICCV'2021)
- Mixco (Neurips'2020)
- Moby (Arxiv'2021)
- mocov2 (Arxiv'2020)
- simclr (ICML'2020)
- Swav (Neurips'2020)
- Mae (CVPR'2022)
- FastConvmae (Arxiv'2022)
| - RESNET (CVPR'2016)
- Resnext (CVPR'2017)
- HRNET (CVPR'2019)
- Vit (ICLR'2021)
- Swint (ICCV'2021)
- 효율성 (Arxiv'2022)
- DEIT (ICML'2021)
- XCIT (Arxiv'2021)
- TNT (Neurips'2021)
- Concit (Arxiv'2021)
- Cait (ICCV'2021)
- Levit (ICCV'2021)
- CONDXT (CVPR'2022)
- RESMLP (Arxiv'2021)
- 코트 (ICCV'2021)
- Convmixer (ICLR'2022)
- MLP-MIXER (ARXIV'2021)
- 둥지 (AAAI'2022)
- 구덩이 (Arxiv'2021)
- 쌍둥이 (Neurips'2021)
- 셔플 트랜스포머 (Arxiv'2021)
- Deit III (ECCV'2022)
- Hydra 관심 (2022)
| - FCOS (ICCV'2019)
- Yolox (Arxiv'2021)
- Yolox-Pai (Arxiv'2022)
- detr (ECCV'2020)
- dab-detr (ICLR'2022)
- DN-DETR (CVPR'2022)
- 디노 (Arxiv'2022)
| 인스턴스 분할- 마스크 R-CNN (ICCV'2017)
- vitdet (Arxiv'2022)
- Mask2Former (CVPR'2022)
시맨틱 세분화- FCN (CVPR'2015)
- Upernet (ECCV'2018)
Panoptic 세분화 | |
자세한 내용은 다음 모델 동물원을 참조하십시오.
- 자체 감독 학습 모델 동물원
- 분류 모델 동물원
- 탐지 모델 동물원
- Detection3d 모델 동물원
- 세분화 모델 동물원
- 포즈 모델 동물원
데이터 허브
EasyCV는 다양한 시나리오에 대한 데이터 세트 정보를 수집하여 EasyCV 모델 동물원에서 모델을 쉽게 정리하거나 평가할 수 있습니다.
data_hub.md를 참조하십시오.
특허
이 프로젝트는 Apache 라이센스 (버전 2.0)에 따라 라이센스가 부여됩니다. 이 툴킷에는 다양한 타사 구성 요소와 다른 오픈 소스 라이센스의 다른 저장소에서 수정 된 일부 코드도 포함되어 있습니다. 자세한 내용은 통지 파일을 참조하십시오.
연락하다
이 repo는 현재 PAI-CV 팀이 유지 관리하고 있으며 다음과 같이 연락 할 수 있습니다.
엔터프라이즈 서비스
EasyCV Enterprise Service 지원이 필요하거나 클라우드 제품 서비스를 구매하는 경우 Dingding Group으로 문의하십시오.
