awesome foundation and multimodal models

großartige Foundation und multimodale Modelle

? ️ + + =?

Foundation -Modell - Ein vorgebildetes maschinelles Lernmodell, das als Basis für eine Vielzahl von nachgeschalteten Aufgaben dient. Es erfasst allgemeines Wissen aus einem großen Datensatz und kann fein abgestimmt werden, um bestimmte Aufgaben effektiver auszuführen.

Multimodales Modell - Ein Modell, das gleichzeitig mehrere Modalitäten (z. B. Text, Bild, Video, Audio usw.) verarbeiten kann.

? Modelle

Yolo-World: Echtzeit-Erkennung von Open-Vocabulary-Objekten

Tianheng Cheng, Lin Song, Yixiao GE, Wenyu Liu, Xinggang Wang, Ying Shan

• Datum: 2024-01-30
• Modalitäten:? Euen
• Aufgaben: Null-Shot-Objekterkennung

Tiefe alles

Lihe Yang, Bingyi Kang, Zilong Huang, Xiaogang Xu, Jishi Feng, Hengshuang Zhao

• Datum: 2024-01-19
• Modalitäten :?
• Aufgaben: Tiefenschätzung

EfficientSsam: Leveraged Masked Image Vorabbau für effizientes Segment irgendetwas

Yunyang Xiong, Bala Varadarajan, Lemeng Wu, Xiaoyu Xiang, Fanyi Xiao, Chezen Zhu, Xiaoliang Dai, Dilin Wang, Fei Sun, Forrest Iandola, Raghuraman Krishnamoorthi, Vikas Chandra

• Datum: 2023-12-01
• Modalitäten:? Euen
• Aufgaben: Null-Shot-Objektsegmentierung

Qwen-vl-plus / max

Jinze Bai, Shuai Bai, Shusgeng Yang, Shijie Wang, Sinan Tan, Peng Wang, Junyang Lin, Chang Zhou, Jingren Zhou

• Datum: 2023-11-28
• Modalitäten:? Euen
• Aufgaben: Bildunterschrift, VQA, Null-Shot-Objekterkennung

COGVLM: Visueller Experte für vorbereitete Sprachmodelle

Weihan Wang, Qingong LV, Wenmeng Yu, Wenyi Hong, Ji Qi, Yan Wang, Junhui Ji, Zhuoyi Yang, Lei Zhao, Xixuan -Lied, Jiazheng Xu, bin Xu, Juanzi Li, Yuxiao Dong, Ming Ding, Jie Tanger, Jie Tanger, Jie Tang

• Datum: 2023-11-06
• Modalitäten:? Euen
• Aufgaben: Bildunterschrift, VQA

Fuyu-8b: Eine multimodale Architektur für KI-Agenten

Rohan Bavishi, Erich Elsen, Curtis Hawthorne, Maxwell Nye, Augustus Odena, Arushi Somani, Sağnak Taşırlar

• Datum: 2023-10-17
• Modalitäten:? Euen
• Aufgaben: Bildklassifizierung, Bildunterschrift, VQA, Text im Bild finden

Frettchen: Verweisen Sie und erden Sie irgendwo in jeder Granularität irgendwohin

Haoxuan du, Haotian Zhang, Zhe Gan, Xianzhi du, Bowen Zhang, Zirui Wang, Liangliang Cao, Shih-Fu Chang, Yinfei Yang

• Datum: 2023-10-11
• Modalitäten:? Euen
• Aufgaben: Bildunterschrift, VQA, Phrase Erdung, Objekterkennung

MetaClip: entmystifizierende Clipdaten

Hu Xu, Saining Xie, Xiaoqing Ellen Tan, Po-Yao Huang, Russell Howes, Vasu Sharma, Shang-Wen Li, Gargi Ghosh, Luke Zettlemoyer, Christoph Fenntenhofer

• Datum: 2023-09-28
• Modalitäten:? Euen
• Aufgaben: Zero-Shot-Klassifizierung

QWEN-VL: Ein vielseitiges visuelles Modell zum Verständnis, Lokalisierung, Textlesen und darüber hinaus

Jinze Bai, Shuai Bai, Shusgeng Yang, Shijie Wang, Sinan Tan, Peng Wang, Junyang Lin, Chang Zhou, Jingren Zhou

• Datum: 2023-09-24
• Modalitäten:? Euen
• Aufgaben: Bildunterschrift, VQA

Siglip: Sigmoidverlust für Sprachbild vor der Training

Xiaohua Zhai, Basil Mustafa, Alexander Kolesnikov, Lucas Beyer

• Datum: 2023-08-27
• Modalitäten:? Euen
• Aufgaben: Null-Shot-Bildklassifizierung

Nougat: Neuronales optisches Verständnis für akademische Dokumente

Lukas Blecher, Guillem Cucurull, Thomas Scialom, Robert Stojnic

• Datum: 2023-08-25
• Modalitäten:? Euen
• Aufgaben: visuelle Frage Beantwortung

Audioldm 2: Erlernen der ganzheitlichen Audiogeneration mit selbstbewertetem Vorbetrag

Haohe Liu, Qiao Tian, ​​Yi Yuan, Xubo Liu, Xinhao Mei, Qiuqiang Kong, Yuping Wang, Wenwu Wang, Yuxuan Wang, Mark D. Plumbley

• Datum: 2023-08-10
• Modalitäten: ️ +
• Aufgaben: Text-to-Audio, Text-to-Speech

OpenFlamingo: Ein Open-Source-Framework für die Schulung großer autoregressive Visionsprachenmodelle

Anas Awadalla, Irena Gao, Josh Gardner, Jack Hessel, Yusuf Hanafy, Wanrong Zhu, Kalyani Marathe, Yonatan Bitton, Samir Gadre, Shiori Sagawa, Jenia Jitsev, Simon Kornblith, Pang Wei Koh, Gabriel Ilharco, Mitchell Wortsman, Ludwig Schmidt

• Datum: 2023-08-02
• Modalitäten:? Euen
• Aufgaben: Bildklassifizierung, Bildunterschrift, VQA

Kosmos-2: Erde multimodale Großsprachenmodelle für die Welt

Zhiliang Peng, Wenhui Wang, Li Dong, Yaru Hao, Shaohan Huang, Shuming MA, Furu Wei

• Datum: 2023-07-26
• Modalitäten:? Euen
• Aufgaben: Bildunterschrift, VQA, Phrase Erdung

OWLV2: Erkennung von Open-Vocabulary-Objekten

Matthias Minderer, Alexey Gritsenko, Neil Houlsby

• Datum: 2023-06-17
• Modalitäten:? Euen
• Aufgaben: Null-Shot-Objekterkennung

Imagebind: Ein Einbettungsraum, um sie alle zu binden

Rohit Girdhar, Alaetz El-NouBy, Zhuang Liu, Mannat Singh, Kalyan Vasudev Alwala, Armand Joulin, Ishan Misra

• Datum: 2023-05-09
• Modalitäten:? ️ + +
• Aufgaben:

LLAVA: Großer Sprache und Vision Assistent

Haotian Liu, Chunyuan Li, Qingyang Wu, Yong Jae Lee

• Datum: 2023-04-17
• Modalitäten:? Euen
• Aufgaben: Vision Sprachmodellierung

Irgendetwas segmentieren

Alexander Kirillov, Eric Mintun, Nikhila Ravi, Hanzi Mao, Chloe Rolland, Laura Gustafson, Tete Xiao, Spencer Whitehead, Alexander C. Berg, Wan-yen Lo, Piotr Dollár, Ross Girshick

• Datum: 2023-04-05
• Modalitäten:? Euen
• Aufgaben: Null-Shot-Objektsegmentierung

Erdungsdino: Heiraten von Dino mit geerdetem Vorbild für die Erkennung von Open-Set-Objekten

Shilong Liu, Zhaoyang Zeng, Tianhe Ren, Feng Li, Hao Zhang, Jie Yang, Chunyuan Li, Jianwei Yang, Hang Su, Jun Zhu, Lei Zhang

• Datum: 2023-03-09
• Modalitäten:? Euen
• Aufgaben: Phrase Erdung, Null-Shot-Objekterkennung

BLIP-2: Bootstrapping-Sprachbild vor der Ausbildung mit gefrorenen Bildcodierern und großen Sprachmodellen

Junnan Li, Dongxu Li, Silvio Savarese, Steven Hoi

• Datum: 2023-01-30
• Modalitäten:? Euen
• Aufgaben: Bildunterschrift, visuelle Frage Beantwortung

Whisper: Robuste Spracherkennung durch große schwache Überwachung

Alec Radford, Jong Wook Kim, Tao Xu, Greg Brockman, Christine McLeavey, Ilya Sutskever

• Datum: 2022-12-06
• Modalitäten: ️ +
• Aufgaben: Sprach-zu-Text

Eulen-Vit: Einfacher Erkennung von Open-Vocabulary-Objekten mit Sehtransformatoren

Matthias Minderer, Alexey Gritsenko, Austin Stone, Maxim Neumann, Dirk Weissenborn, Alexey Dosovitskiy, Aravindh Mahendran, Anurag Arnab, Mostafa deHghani, Zhuoran Shen, Xiao Wang, Xiaohua Zai, Thomas Kipf, Thomas Kipf, Thomas Kipf, Thomas Kip

• Datum: 2022-05-12
• Modalitäten:? Euen
• Aufgaben: Null-Shot-Objekterkennung

Clip: Erlernen übertragbarer visueller Modelle aus natürlicher Sprache, die natürliche Sprachüberwachung

Alec Radford, Jong Wook Kim, Chris Hallacy, Aditya Ramesh, Gabriel Goh, Sandhini Agarwal, Girish Sastry, Amanda Askell, Pamela Mischkin, Jack Clark, Gretchen Krueger, Ilya Sutskever

• Datum: 2021-02-26
• Modalitäten:? Euen
• Aufgaben: Zero-Shot-Klassifizierung

? Beitrag

Wir würden Ihre Hilfe lieben, um dieses Repository noch besser zu machen! Wenn Sie ein erstaunliches Papier kennen, das hier nicht aufgeführt ist oder wenn Sie Verbesserungsvorschläge haben, können Sie ein Problem öffnen oder eine Pull -Anfrage abgeben.