Multimodal GPT

? GPT multi-modal

Latih chatbot multi-modal dengan instruksi visual dan bahasa!

Berdasarkan model multi-modal open-source OpenFlamingo, kami membuat berbagai data instruksi visual dengan set data terbuka, termasuk VQA, captioning gambar, penalaran visual, teks OCR, dan dialog visual. Selain itu, kami juga melatih komponen model bahasa OpenFlamingo hanya menggunakan data instruksi hanya bahasa .

Pelatihan bersama instruksi visual dan bahasa secara efektif meningkatkan kinerja model! Untuk detail lebih lanjut silakan lihat laporan teknis kami.

Selamat datang untuk bergabung dengan kami!

Bahasa Inggris | 简体中文

Fitur

• Mendukung berbagai data pengajaran dan bahasa
• Parameter fine-tuning efisien dengan lora
• Menyetel visi dan bahasa pada saat yang sama, saling melengkapi

Instalasi

Untuk menginstal paket di lingkungan yang ada, jalankan

git clone https://github.com/open-mmlab/Multimodal-GPT.git
cd Multimodal-GPT
pip install -r requirements.txt
pip install -v -e .

atau menciptakan lingkungan Conda baru

conda env create -f environment.yml

Luncurkan demo secara lokal

1. Unduh bobot pra-terlatih.

   Gunakan skrip ini untuk mengubah bobot llama menjadi memeluk format wajah.

   Unduh model pra-terlatih OpenFlamingo dari OpenFlamingo/OpenFlamingo-9b.

   Unduh berat Lora kami dari sini.

   Kemudian tempatkan model -model ini di folder checkpoints seperti ini:

    checkpoints
   ├── llama-7b_hf
   │   ├── config.json
   │   ├── pytorch_model-00001-of-00002.bin
   │   ├── ......
   │   └── tokenizer.model
   ├── OpenFlamingo-9B
   │   └──checkpoint.pt
   ├──mmgpt-lora-v0-release.pt
   
   

2. Luncurkan Demo Gradio

   python app.py

Contoh

Resep:

Rencana Perjalanan:

Film:

Orang Terkenal:

Fine-tuning

Siapkan set data

1. A-okvqa

   Unduh anotasi dari tautan ini dan unzip ke data/aokvqa/annotations .

   Ini juga membutuhkan gambar dari dataset Coco yang dapat diunduh dari sini.

2. Keterangan Coco

   Unduh dari tautan ini dan unzip ke data/coco .

   Ini juga membutuhkan gambar dari dataset Coco yang dapat diunduh dari sini.

3. OCR VQA

   Unduh dari tautan ini dan tempatkan dalam data/OCR_VQA/ .

4. Llava

   Unduh dari Liuhaotian/llava-instruct-150k dan tempat di data/llava/ .

   Ini juga membutuhkan gambar dari dataset Coco yang dapat diunduh dari sini.

5. Mini-gpt4

   Unduh dari vision-cair/cc_sbu_align dan tempat di data/cc_sbu_align/ .

6. Dolly 15k

   Unduh dari databricks/databricks-dolly-15k dan letakkan di data/dolly/databricks-dolly-15k.jsonl .

7. Alpaca GPT4

   Unduh dari tautan ini dan letakkan di data/alpaca_gpt4/alpaca_gpt4_data.json .

Anda juga dapat menyesuaikan jalur data di konfigurasi/dataset_config.py.

8. Kain tebal dr wol kasar

   Unduh dari tautan ini dan letakkan di data/baize/quora_chat_data.json .

Mulai pelatihan

torchrun --nproc_per_node=8 mmgpt/train/instruction_finetune.py 
  --lm_path checkpoints/llama-7b_hf 
  --tokenizer_path checkpoints/llama-7b_hf 
  --pretrained_path checkpoints/OpenFlamingo-9B/checkpoint.pt 
  --run_name train-my-gpt4 
  --learning_rate 1e-5 
  --lr_scheduler cosine 
  --batch_size 1  
  --tuning_config configs/lora_config.py 
  --dataset_config configs/dataset_config.py 
  --report_to_wandb

Ucapan Terima Kasih

• OpenFlamingo
• Lavis
• Stanford Alpaca
• Minigpt-4
• Llava
• Penyetelan instruksi dengan GPT-4

Jika Anda menemukan proyek kami berguna untuk penelitian dan aplikasi Anda, silakan kutip menggunakan Bibtex ini:

 @misc { gong2023multimodalgpt ,
      title = { MultiModal-GPT: A Vision and Language Model for Dialogue with Humans } , 
      author = { Tao Gong and Chengqi Lyu and Shilong Zhang and Yudong Wang and Miao Zheng and Qian Zhao and Kuikun Liu and Wenwei Zhang and Ping Luo and Kai Chen } ,
      year = { 2023 } ,
      eprint = { 2305.04790 } ,
      archivePrefix = { arXiv } ,
      primaryClass = { cs.CV }
}