awesome foundation and multimodal models

멋진 기초와 멀티 모달 모델

? ️ + + =?

Foundation Model- 광범위한 다운 스트림 작업의 기반 역할을하는 미리 훈련 된 기계 학습 모델. 대규모 데이터 세트의 일반적인 지식을 캡처하고 특정 작업을보다 효과적으로 수행하도록 미세 조정할 수 있습니다.

멀티 모달 모델 - 여러 양식 (예 : 텍스트, 이미지, 비디오, 오디오 등)을 동시에 처리 할 수있는 모델.

? 모델

Yolo-World : 실시간 개방형 변호사 객체 감지

Tianheng Cheng, Lin Song, Yixiao GE, Wenyu Liu, Xinggang Wang, Ying Shan

• 날짜 : 2024-01-30
• 양식 : ? ️ +
• 작업 : 제로 샷 객체 감지

깊이있는 것

Lihe Yang, Bingyi Kang, Zilong Huang, Xiaogang Xu, Jiashi Feng, Hengshuang Zhao

• 날짜 : 2024-01-19
• 양식 : ?
• 작업 : 깊이 추정

Efficientsam : 효율적인 세그먼트에 대한 레버리지 마스크 이미지 사전 레이팅

Yunyang Xiong, Bala Varadarajan, Lemeng Wu, Xiaoyu Xiang, Fanyi Xiao, Chenchen Zhu, Xiaoliang Dai, Dilin Wang, Fei Sun, Forrest Iandola, Raghuraman Krishnamoorthi, Vikas Chandra

• 날짜 : 2023-12-01
• 양식 : ? ️
• 작업 : 제로 샷 객체 분할

Qwen-VL-Plus / Max

Jinze Bai, Shuai Bai, Shusheng Yang, Shijie Wang, Sinan Tan, Peng Wang, Junyang Lin, Chang Zhou, Jingren Zhou

• 날짜 : 2023-11-28
• 양식 : ? ️ +
• 작업 : 이미지 캡션, VQA, 제로 샷 객체 감지

COGVLM : 사전에 사전 된 언어 모델을위한 시각적 전문가

Weihan Wang, Qingsong LV, Wenmeng Yu, Wenyi Hong, Ji Qi, Yan Wang, Junhui JI, Zhuoyi Yang, Lei Zhao, Xixuan Song, Jiazheng Xu, Bin Xu, Juanzi LI, Yuxiao Dong, Ming Ding, Jie Tang

• 날짜 : 2023-11-06
• 양식 : ? ️ +
• 작업 : 이미지 캡션, VQA

FUYU-8B : AI 에이전트를위한 멀티 모달 아키텍처

Rohan Bavishi, Erich Elsen, Curtis Hawthorne, Maxwell Nye, Augustus Odena, Arushi Somani, Sağnak Taşırlar

• 날짜 : 2023-10-17
• 양식 : ? ️ +
• 작업 : 이미지 분류, 이미지 캡션, VQA, 이미지에서 텍스트 찾기

흰 족제비 : 모든 세분화에서 어디서나 모든 것을 참조하고 접지하십시오

Haoxuan You, Haotian Zhang, Zhe Gan, Xianzhi Du, Bowen Zhang, Zirui Wang, Liangliang Cao, Shih-Fu Chang, Yinfei Yang

• 날짜 : 2023-10-11
• 양식 : ? ️ +
• 작업 : 이미지 캡션, VQA, 문구 접지, 객체 감지

메타 클립 : 클립 데이터를 탈취합니다

Hu Xu, Saining Xie, Xiaoqing Ellen Tan, Po-Yao Huang, Russell Howes, Vasu Sharma, Shang-Wen Li, Gargi Ghosh, Luke Zettlemoyer, Christoph Feichtenhofer

• 날짜 : 2023-09-28
• 양식 : ? ️ +
• 작업 : 제로 샷 분류

Qwen-VL : 이해, 현지화, 텍스트 읽기 및 그 밖의 다목적 비전 언어 모델

Jinze Bai, Shuai Bai, Shusheng Yang, Shijie Wang, Sinan Tan, Peng Wang, Junyang Lin, Chang Zhou, Jingren Zhou

• 날짜 : 2023-09-24
• 양식 : ? ️ +
• 작업 : 이미지 캡션, VQA

Siglip : 언어 이미지 사전 훈련에 대한 Sigmoid 손실

Xiaohua Zhai, Basil Mustafa, Alexander Kolesnikov, Lucas Beyer

• 날짜 : 2023-08-27
• 양식 : ? ️
• 작업 : 제로 샷 이미지 분류

Nougat : 학업 문서에 대한 신경 광학 이해

Lukas Blecher, Guillem Cucurull, Thomas Scialom, Robert Stojnic

• 날짜 : 2023-08-25
• 양식 : ? ️
• 작업 : 시각적 질문 답변

Audioldm 2 : 자체 감독 전 사전 조정으로 전체적인 오디오 생성 학습

Haohe Liu, Qiao Tian, ​​Yi Yuan, Xubo Liu, Xinhao Mei, Qiuqiang Kong, Yuping Wang, Wenwu Wang, Yuxuan Wang, Mark D. Plumbley

• 날짜 : 2023-08-10
• 양식 : ️ +
• 작업 : Text-to-Audio, Text-To-Steech

OpenFlamingo : 대형 자동 회귀 비전 언어 모델을 훈련하기위한 오픈 소스 프레임 워크

Anas Awadalla, Irena Gao, Josh Gardner, Jack Hessel, Yusuf Hanafy, Wanrong Zhu, Kalyani Marathe, Yonatan Bitton, Samir Gadre, Shiori Sagawa, Jenia Jitsev, Simon Kornblith, Pang Wei Koh, Gabriel Ilharco, Mitchell Mitchell

• 날짜 : 2023-08-02
• 양식 : ? ️ +
• 작업 : 이미지 분류, 이미지 캡션, VQA

KOSMOS-2 : 다중 모드 대형 언어 모델 접지 세계

Zhiliang Peng, Wenhui Wang, Li Dong, Yaru Hao, Shaohan Huang, Ma, Furu Wei

• 날짜 : 2023-07-26
• 양식 : ? ️ +
• 작업 : 이미지 캡션, VQA, 문구 접지

OWLV2 : 개방형 변호사 객체 감지 스케일링

Matthias Minderer, Alexey Gritsenko, Neil Houlsby

• 날짜 : 2023-06-17
• 양식 : ? ️
• 작업 : 제로 샷 객체 감지

ImageBind : 하나의 임베딩 공간을 모두 묶을 수 있습니다

Rohit Girdhar, Alaaeldin El-Nouby, Zhuang Liu, Mannat Singh, Kalyan Vasudev Alwala, Armand Joulin, Ishan Misra

• 날짜 : 2023-05-09
• 양식 : ? ️ + +
• 작업 :

Llava : 큰 언어 및 비전 조수

Haotian Liu, Chunyuan Li, Qingyang Wu, Yong Jae Lee

• 날짜 : 2023-04-17
• 양식 : ? ️ +
• 작업 : 비전 언어 모델링

무엇이든 분류하십시오

Alexander Kirillov, Eric Mintun, Nikhila Ravi, Hanzi Mao, Chloe Rolland, Laura Gustafson, Tete Xiao, Spencer Whitehead, Alexander C. Berg, Wan-Yen Lo, Piotr Dollár, Ross Girshick

• 날짜 : 2023-04-05
• 양식 : ? ️
• 작업 : 제로 샷 객체 분할

접지 디노 : 오픈 세트 객체 감지를위한 접지 사전 훈련과 함께 디노와 결혼

Shilong Liu, Zhaoyang Zeng, Tianhe Ren, Feng Li, Hao Zhang, Jie Yang, Chunyuan Li, Jianwei Yang, Hang Su, Jun Zhu, Lei Zhang

• 날짜 : 2023-03-09
• 양식 : ? ️ +
• 작업 : 문구 접지, 제로 샷 객체 감지

Blip-2 : 냉동 이미지 인코더 및 대형 언어 모델로 언어 이미지 사전 훈련 부트 스트랩

Junnan Li, Dongxu Li, Silvio Savarese, Steven Hoi

• 날짜 : 2023-01-30
• 양식 : ? ️ +
• 작업 : 이미지 캡션, 시각적 질문 답변

Whisper : 대규모 약한 감독을 통한 강력한 음성 인식

Alec Radford, Jong Wook Kim, Tao Xu, Greg Brockman, Christine McLeavey, Ilya Sutskever

• 날짜 : 2022-12-06
• 양식 : ️ +
• 작업 : 음성-텍스트

Owl-Vit : Vision Transformers를 사용한 간단한 개방형 대사 객체 감지

Matthias Minderer, Alexey Gritsenko, Austin Stone, Maxim Neumann, Dirk Weissenborn, Alexey Dosovitskiy, Aravindh Mahendran, Anurag Arnab, Mostafa Dehghani, Zhuoran Shen, Xiao Wang, Xiaohua Zhai, Thomas Kipf, Neil Houl Houlsby

• 날짜 : 2022-05-12
• 양식 : ? ️ +
• 작업 : 제로 샷 객체 감지

클립 : 자연어 감독에서 전송 가능한 시각적 모델 학습

Alec Radford, Jong Wook Kim, Chris Hallacy, Aditya Ramesh, Gabriel Goh, Sandhini Agarwal, Girish Sastry, Amanda Askell, Pamela Mishkin, Jack Clark, Gretchen Krueger, Ilya Sutskever

• 날짜 : 2021-02-26
• 양식 : ? ️ +
• 작업 : 제로 샷 분류

? 기부금

우리는이 저장소를 더 좋게 만드는 데 도움을주고 싶습니다! 여기에 나열되지 않은 놀라운 종이를 알고 있거나 개선 제안이있는 경우 문제를 열거나 풀 요청을 제출하십시오.