japanese clip

คลิปญี่ปุ่น

พื้นที่เก็บข้อมูลนี้รวมถึงรหัสสำหรับคลิปญี่ปุ่น

สารบัญ
ข่าว
นางแบบที่ได้รับการฝึกฝน
การใช้งาน
การอ้างอิง
ใบอนุญาต

ข่าว

กรกฎาคม 2565

v0.2.0 ได้รับการปล่อยตัว!

• ทั้งรุ่นคลิปและ Cloob ได้รับการอัพเกรด! ตอนนี้ rinna/japanese-cloob-vit-b-16 ได้รับ 54.64
• เปิดตัวเทมเพลตพรอมต์ญี่ปุ่นของเราและรหัสตัวอย่าง (ดู scripts/example.py ) สำหรับการจำแนกประเภท ImageNet เป็นศูนย์ เทมเพลตเหล่านั้นได้รับการทำความสะอาดสำหรับญี่ปุ่นตามเทมเพลต OpenAI 80
• เปลี่ยนการอ้างอิง

นางแบบที่ได้รับการฝึกฝน

ชื่อนางแบบ	TOP1*	TOP5*
Rinna/Japanese-cloob-vit-B-16	54.64	72.86
Rinna/Japanese-clip-vit-B-16	50.69	72.35
Sonoisa/clip-vit-b-32-japanese-v1	38.88	60.71
คลิปหลายภาษา	14.36	27.28

*zero-shot imageNet ตรวจสอบความถูกต้องตั้งค่าความแม่นยำสูงสุด K

การใช้งาน

1. ติดตั้งแพ็คเกจ

$ pip install git+https://github.com/rinnakk/japanese-clip.git

2. วิ่ง

 from PIL import Image
import torch
import japanese_clip as ja_clip

device = "cuda" if torch . cuda . is_available () else "cpu"
# ja_clip.available_models()
# ['rinna/japanese-clip-vit-b-16', 'rinna/japanese-cloob-vit-b-16']
# If you want v0.1.0 models, set `revision='v0.1.0'`
model , preprocess = ja_clip . load ( "rinna/japanese-clip-vit-b-16" , cache_dir = "/tmp/japanese_clip" , device = device )
tokenizer = ja_clip . load_tokenizer ()

image = preprocess ( Image . open ( "./data/dog.jpeg" )). unsqueeze ( 0 ). to ( device )
encodings = ja_clip . tokenize (
    texts = [ "犬" , "猫" , "象" ],
    max_seq_len = 77 ,
    device = device ,
    tokenizer = tokenizer , # this is optional. if you don't pass, load tokenizer each time
)

with torch . no_grad ():
    image_features = model . get_image_features ( image )
    text_features = model . get_text_features ( ** encodings )
    
    text_probs = ( 100.0 * image_features @ text_features . T ). softmax ( dim = - 1 )

print ( "Label probs:" , text_probs )  # prints: [[1.0, 0.0, 0.0]] 

การอ้างอิง

เพื่ออ้างถึงที่เก็บนี้:

@inproceedings{japanese-clip,
  author = {シーン 誠, 趙 天雨, 沢田 慶},
  title = {日本語における言語画像事前学習モデルの構築と公開},
  booktitle= {The 25th Meeting on Image Recognition and Understanding},
  year = 2022,
  month = July,
}

ใบอนุญาต

ใบอนุญาต Apache 2.0