تنزيل japanese clip - تنزيل رمز مصدر japanese clip

japanese clip

كود الذكاء الاصطناعي

v0.2.0

تنزيل

المشبك الياباني

رينا أون

يشتمل هذا المستودع على رموز للمقطع الياباني (صورة ما قبل التدريب اللغوية) من قبل شركة Rinna Co. ، Ltd.

جدول المحتويات
أخبار
نماذج ما قبل
الاستخدام
اقتباس
رخصة

أخبار

يوليو 2022

تم إصدار V0.2.0!

تمت ترقية كل من نماذج مقطع و CLOB! الآن ، rinna/japanese-cloob-vit-b-16 يحقق 54.64.
تم إصدار قوالب المطالبة اليابانية الخاصة بنا ورمز مثال (انظر scripts/example.py . تم تنظيف تلك القوالب لليابانية بناءً على قوالب Openai 80.
غيرت الاقتباس

نماذج ما قبل

اسم النموذج	Top1*	Top5*
RINNA/اليابانية clob-vit-b-16	54.64	72.86
رينا/اليابانية clip-vit-b-16	50.69	72.35

Sonoisa/Clip-Vit-B-32-Japanese-V1	38.88	60.71
المشبك متعدد اللغات	14.36	27.28

*صفر الرماية التقليدية تعيين دقة أعلى K.

الاستخدام

تثبيت الحزمة

$ pip install git+https://github.com/rinnakk/japanese-clip.git

يجري

 from PIL import Image
import torch
import japanese_clip as ja_clip

device = "cuda" if torch . cuda . is_available () else "cpu"
# ja_clip.available_models()
# ['rinna/japanese-clip-vit-b-16', 'rinna/japanese-cloob-vit-b-16']
# If you want v0.1.0 models, set `revision='v0.1.0'`
model , preprocess = ja_clip . load ( "rinna/japanese-clip-vit-b-16" , cache_dir = "/tmp/japanese_clip" , device = device )
tokenizer = ja_clip . load_tokenizer ()

image = preprocess ( Image . open ( "./data/dog.jpeg" )). unsqueeze ( 0 ). to ( device )
encodings = ja_clip . tokenize (
    texts = [ "犬" , "猫" , "象" ],
    max_seq_len = 77 ,
    device = device ,
    tokenizer = tokenizer , # this is optional. if you don't pass, load tokenizer each time
)

with torch . no_grad ():
    image_features = model . get_image_features ( image )
    text_features = model . get_text_features ( ** encodings )
    
    text_probs = ( 100.0 * image_features @ text_features . T ). softmax ( dim = - 1 )

print ( "Label probs:" , text_probs )  # prints: [[1.0, 0.0, 0.0]]

اقتباس

للاستشهاد بهذا المستودع:

@inproceedings{japanese-clip,
  author = {シーン 誠, 趙 天雨, 沢田 慶},
  title = {日本語における言語画像事前学習モデルの構築と公開},
  booktitle= {The 25th Meeting on Image Recognition and Understanding},
  year = 2022,
  month = July,
}