mmpretrain

เอกสาร การติดตั้ง - สวนสัตว์รุ่น | - อัปเดตข่าว | - ปัญหาการรายงาน

ภาษาอังกฤษ | 简体中文

การแนะนำ

Mmpretrain เป็นกล่องเครื่องมือการฝึกอบรมก่อนโอเพนซอร์สตาม pytorch มันเป็นส่วนหนึ่งของโครงการ OpenMMLAB

สาขา main ทำงานร่วมกับ Pytorch 1.8+

คุณสมบัติที่สำคัญ

• แบ็คโบนและรุ่นที่ผ่านการฝึกอบรมต่าง ๆ
• กลยุทธ์การฝึกอบรมที่หลากหลาย (การเรียนรู้ภายใต้การดูแลการเรียนรู้ที่ดูแลตนเองการเรียนรู้หลายรูปแบบ ฯลฯ )
• กระเป๋าฝึกหัด
• กำหนดค่าการฝึกอบรมขนาดใหญ่
• ประสิทธิภาพสูงและการขยาย
• ชุดเครื่องมือที่ทรงพลังสำหรับการวิเคราะห์แบบจำลองและการทดลอง
• งานการอนุมานนอกกรอบต่างๆ
  • การจำแนกรูปภาพ
  • คำบรรยายภาพ
  • การตอบคำถามภาพ
  • กราวด์
  • ดึงข้อมูล (ภาพถึงภาพ, ข้อความเป็นภาพ, ภาพเป็นข้อความ)

mmpretrain.mp4

มีอะไรใหม่

- v1.2.0 เปิดตัวใน 04/01/2023

• สนับสนุน Llava 1.5
• ใช้ RAM ด้วยอินเทอร์เฟซ Gradio

- v1.1.0 เปิดตัวใน 12/10/2023

• สนับสนุนการฝึกอบรม MINI-GPT4 และจัดทำแบบจำลองจีน (ตาม Baichuan-7B)
• รองรับการจำแนกประเภทเป็นศูนย์ตามคลิป

- v1.0.0 เปิดตัวใน 04/07/2023

• สนับสนุนการอนุมานของอัลกอริทึม แบบหลายรูปแบบ มากขึ้นเช่น LLAVA , MINIGPT-4 , นาก ฯลฯ
• รองรับชุดข้อมูล หลายรูปแบบประมาณ 10 ชุด !
• เพิ่ม ITPN , Spark อัลกอริทึมการเรียนรู้ที่ดูแลตนเอง
• ให้ตัวอย่างของการกำหนดค่าใหม่และ DeepSpeed/FSDP พร้อม FlexiBlerunner นี่คือลิงก์เอกสารของการกำหนดค่าใหม่และ DEEPSPEED/FSDP พร้อม FlexiBlerUnner

- อัพเกรดจาก mmclassification เป็น mmpretrain

• อัลกอริธึมการเรียนรู้ที่ดูแลตนเองแบบบูรณาการจาก MMSelfSup เช่น Mae , Beit ฯลฯ
• รองรับ Riformer ซึ่งเป็นกระดูกสันหลังที่มีวิสัยทัศน์ที่เรียบง่าย แต่มีประสิทธิภาพโดยการลบเครื่องผสมโทเค็น
• การสร้างภาพชุดข้อมูลชุดข้อมูล Refactor
• สนับสนุน Levit , XCIT , VIG , ConvNext-V2 , EVA , Revvit , EfficientNetv2 , คลิป , TinyVit และ Backbones Mixmim

การเปิดตัวครั้งนี้แนะนำเครื่องมือฝึกอบรมและทดสอบที่ยืดหยุ่นและยืดหยุ่น แต่ก็ยังอยู่ในระหว่างดำเนินการ ยินดีต้อนรับสู่การลองตามเอกสาร

และมีการเปลี่ยนแปลง BC บางอย่าง โปรดตรวจสอบการสอนการย้ายถิ่น

โปรดดู Changelog สำหรับรายละเอียดเพิ่มเติมและประวัติการเปิดตัวอื่น ๆ

การติดตั้ง

ด้านล่างเป็นขั้นตอนที่รวดเร็วสำหรับการติดตั้ง:

conda create -n open-mmlab python=3.8 pytorch==1.10.1 torchvision==0.11.2 cudatoolkit=11.3 -c pytorch -y
conda activate open-mmlab
pip install openmim
git clone https://github.com/open-mmlab/mmpretrain.git
cd mmpretrain
mim install -e .

โปรดดูเอกสารประกอบการติดตั้งสำหรับการติดตั้งและชุดข้อมูลโดยละเอียดเพิ่มเติม

สำหรับการสนับสนุนแบบจำลองหลายโมเดลโปรดติดตั้งการพึ่งพาพิเศษโดย:

mim install -e " .[multimodal] " 

คู่มือผู้ใช้

เราจัดทำแบบฝึกหัดเกี่ยวกับการใช้งานขั้นพื้นฐานของ MMPretrain สำหรับผู้ใช้ใหม่:

• เรียนรู้เกี่ยวกับการกำหนดค่า
• เตรียมชุดข้อมูล
• การอนุมานกับโมเดลที่มีอยู่
• รถไฟ
• ทดสอบ
• งานดาวน์สตรีม

สำหรับข้อมูลเพิ่มเติมโปรดดูเอกสารของเรา

สวนสัตว์รุ่น

ผลลัพธ์และรุ่นมีอยู่ในสวนสัตว์รุ่น

ภาพรวม

รองรับแบ็คโบน	การเรียนรู้ด้วยตนเอง	อัลกอริธึมหลายรูปแบบ	คนอื่น
VGG resnet resnext Se-Resnet Se-Resnext regnet Shufflenet v1 Shufflenet v2 Mobilenet v2 Mobilenet v3 ผู้เปลี่ยนรูป swin-transformer v2 repvgg ผู้มีวิสัยทัศน์ หม้อแปลงไฟฟ้า res2net MLP-MIXER deit deit-3 ผู้ปฏิบัติตาม t2t-vit ฝาแฝด มีประสิทธิภาพ Edgenext ทำให้รู้สึกตัว hrnet รถตู้ ผู้ประสานงาน CSPNET ผู้ประกอบการพูล Inception v3 มือถือ ผู้มีประสิทธิภาพ mvit แตน Mobilevit นักแสดง replknet เป็นอาหาร มิกซ์มิม Efficientnet v2 revvit Convnext v2 การเฝ้าระวัง XCIT ลื่น ผู้ดิ้นรน อึกทึก Vit Sam EVA02 Dino v2 คนที่มีเชื้อสาย	MOCO V1 (CVPR'2020) Simclr (icml'2020) Moco V2 (Arxiv'2020) BYOL (Neurips'2020) Swav (Neurips'2020) Densecl (cvpr'2021) Simsiam (cvpr'2021) Barlow Twins (ICML'2021) MOCO V3 (ICCV'2021) Beit (ICLR'2022) แม่ (cvpr'2022) Simmim (cvpr'2022) maskfeat (cvpr'2022) CAE (Arxiv'2022) มิลาน (Arxiv'2022) Beit V2 (Arxiv'2022) Eva (cvpr'2023) Mixmim (Arxiv'2022) ITPN (cvpr'2023) Spark (ICLR'2023) MFF (ICCV'2023)	blip (arxiv'2022) blip-2 (arxiv'2023) OFA (corr'2022) Flamingo (Neurips'2022) คลิปจีน (Arxiv'2022) minigpt-4 (arxiv'2023) llava (arxiv'2023) นาก (Arxiv'2023)	งานดึงภาพ: arcface (cvpr'2019) เคล็ดลับการฝึกอบรมและทดสอบ: randaug autoaug repeataugsampler TTA -

การบริจาค

เราขอขอบคุณการมีส่วนร่วมทั้งหมดเพื่อปรับปรุง mmpretrain โปรดดูที่การ contrubuting สำหรับแนวทางที่มีส่วนร่วม

การรับทราบ

MMPretrain เป็นโครงการโอเพ่นซอร์สที่ได้รับการสนับสนุนจากนักวิจัยและวิศวกรจากวิทยาลัยและ บริษัท ต่างๆ เราขอขอบคุณผู้สนับสนุนทุกคนที่ใช้วิธีการของพวกเขาหรือเพิ่มคุณสมบัติใหม่รวมถึงผู้ใช้ที่ให้ข้อเสนอแนะที่มีค่า เราหวังว่ากล่องเครื่องมือและเกณฑ์มาตรฐานสามารถให้บริการชุมชนการวิจัยที่กำลังเติบโตโดยการจัดหาชุดเครื่องมือที่ยืดหยุ่นเพื่อปรับปรุงวิธีการที่มีอยู่ใหม่และสนับสนุนการวิจัยทางวิชาการของพวกเขาเอง

การอ้างอิง

หากคุณพบว่าโครงการนี้มีประโยชน์ในการวิจัยของคุณโปรดพิจารณาอ้างอิง:

 @misc { 2023mmpretrain ,
    title = { OpenMMLab's Pre-training Toolbox and Benchmark } ,
    author = { MMPreTrain Contributors } ,
    howpublished = { url{https://github.com/open-mmlab/mmpretrain} } ,
    year = { 2023 }
}

ใบอนุญาต

โครงการนี้เปิดตัวภายใต้ใบอนุญาต Apache 2.0

โครงการใน openmmlab

• MMENGINE: ห้องสมุดพื้นฐาน OpenMMLAB สำหรับการฝึกอบรมแบบจำลองการเรียนรู้อย่างลึกซึ้ง
• MMCV: ห้องสมุดพื้นฐาน OpenMMLAB สำหรับการมองเห็นคอมพิวเตอร์
• MIM: MIM ติดตั้งแพ็คเกจ OpenMMLAB
• MMEVAL: ห้องสมุดการประเมินแบบครบวงจรสำหรับไลบรารีการเรียนรู้ของเครื่องหลายเครื่อง
• MMPRETRAIN: OpenMMLAB Pre-Training Toolbox และ Benchmark
• MMDETECTION: กล่องเครื่องมือตรวจจับ OpenMMLAB และเกณฑ์มาตรฐาน
• MMDETECTION3D: แพลตฟอร์มรุ่นต่อไปของ OpenMMLAB สำหรับการตรวจจับวัตถุ 3D ทั่วไป
• MMrotate: กล่องเครื่องมือตรวจจับวัตถุที่หมุนของ OpenMMLAB และเบนช์มาร์ก
• MMYOLO: กล่องเครื่องมือและเบนช์ของ OpenMMLAB YOLO SERIES
• MMSegentation: OpenMMLAB Semantic Sementation Toolbox และ Benchmark
• MMOCH: การตรวจจับข้อความ OpenMMLAB การรับรู้และการทำความเข้าใจกล่องเครื่องมือ
• MMPOSE: OpenMMLAB POSE POSE TOOLBOX และ BENGAGM
• MMHUMAN3D: OpenMMLAB 3D Human Parametric Model Toolbox และ Benchmark
• MMSelfSup: OpenMMLAB กล่องเครื่องมือการเรียนรู้ที่ดูแลตนเองและเกณฑ์มาตรฐาน
• MMRAZOR: กล่องเครื่องมือการบีบอัดแบบจำลอง OpenMMLAB และเกณฑ์มาตรฐาน
• MMFEWSHOT: OpenMMLAB ไม่กี่กล่องเครื่องมือการเรียนรู้และเกณฑ์มาตรฐาน
• MMACTION2: กล่องเครื่องมือและเกณฑ์มาตรฐานของ OpenMMLAB
• MMTRACKING: กล่องเครื่องมือการรับรู้วิดีโอ OpenMMLAB และเกณฑ์มาตรฐาน
• MMFLOW: OpenMMLAB OPTICAL FLOW TOOLBOX และ BENGAGM
• mmagic: เปิด mm lab a dvanced, g enerative และ i ntelligent c เครื่องมือ reation
• MMGeneration: OpenMMLAB IMAGE และ VIDEA Generative Models กล่องเครื่องมือ
• MMDeploy: OpenMMLAB MODEL FRAMEWORK FRAMEWORK
• สนามเด็กเล่น: ศูนย์กลางกลางสำหรับการรวบรวมและจัดแสดงโครงการที่น่าตื่นตาตื่นใจที่สร้างขึ้นบน OpenMMLAB