unilm下載 - unilm源代碼下載

unilm

其他源碼

YOCO

下載

aka.ms/generai

僱用

我們正在各個級別（包括FTE研究人員和實習生）招聘！如果您有興趣與我們一起使用基礎模型（又稱大規模預培訓模型）和一般AI，NLP，MT，Speech，Document AI和多模式AI，請將您的簡歷發送到[email protected]。

基礎體系結構

Torchscale-基礎體系結構庫（repo）

為基礎模型和AI開發新體系結構的基礎研究，重點是建模一般性和能力，以及訓練穩定性和效率。

穩定性 -深網：將變壓器縮放到1,000層及以後

通用性 -基礎變壓器（Magneto） ：朝著跨任務和模式（包括語言，視覺，語音和多模式）進行真正的通用建模

功能 -長度可驅動的變壓器

效率和可傳遞性 - X-MOE ：可伸縮和可芬太的稀疏混合物（MOE）

模型架構的革命

比特網：大語言模型的1位變壓器

retnet ：保留網絡：大語言模型變壓器的繼任者

Longnet ：將變壓器擴展到1,000,000,000代幣

基礎模型

（M）LLM（多模式LLM）的演變

KOSMOS-2.5 ：多模式識字模型

KOSMOS-2 ：將多模式的大型語言模型紮根

KOSMOS-1 ：一種多模式大語模型（MLLM）

METIALM ：語言模型是通用界面

大融合- 跨tasks （預測性和生成性）， languages （100多種語言）和modalities （語言，圖像，圖像，音頻，佈局/格式/格式 +語言，視覺 +語言，音頻 +語言等）的大規模自我監管的預訓練預訓練

語言和多語言

UNILM ：統一的語言理解和發電的預訓練

Infoxlm/XLM-E ：100多種語言的多語言/跨語性預訓練模型

DELTALM/MT6 ：編碼器 - 編碼器預訓練，用於100多種語言的語言生成和翻譯

Minilm ：用於語言理解和發電的小型和快速訓練的模型

Adalm ：預訓練模型的領域，語言和任務適應

Edgelm （ NEW ）：邊緣/客戶端設備上的小型預訓練模型

SIMLM （ NEW ）：相似性匹配的大規模預訓練

E5 （ NEW ）：文本嵌入

Minillm （ NEW ）：大語言模型的知識蒸餾

想像

BEIT / BEIT-2 ：圖像變壓器的視覺 / BERT預訓練的生成自我監管的預訓練

DIT ：文檔圖像變形金剛的自我監督預訓練

textdiffuser / textdiffuser-2 （ NEW ）：作為文本畫家的擴散模型

演講

WAVLM ：完整堆棧任務的語音預培訓

VALL-E ：TTS的神經編解碼器語言模型

多模式（x +語言）

layoutlm / layoutlmv2 / layoutlmv3 ：多模式（文本 +佈局 /格式 +圖像）文檔AI的文檔基礎模型（例如掃描文檔，PDF等）

layoutxlm ：多模式（文本 +佈局/格式 +圖像）多語言文檔AI的文檔基礎模型

Markuplm ：標記語言模型預培訓，以了解視覺富裕文檔的理解

XDOC ：統一的預培訓，用於跨格式文檔理解

UNISPEECH ：統一的預培訓，用於自我監督的學習和ASR的監督學習

Unispeech-SAT ：通用語音表示學習，以說話者意識到預培訓

SECTERTT5 ：語言處理的編碼器培訓預培訓

語音LM ：使用未配對的文本數據增強的語音預訓練

VLMO ：統一視力語言預訓練

VL-BEIT （ NEW ）：生成視覺語言預訓練 - BEIT向多模式的演變

BEIT-3 （ NEW ）：通用多模式模型，以及跨任務，語言和方式大規模預訓練的大規模融合的主要里程碑。

工具包

S2S-FT ：序列到序列微調工具包

激進的解碼（ NEW ）：無損，有效的序列到序列解碼算法

申請

TROCR ：帶有預訓練模型的基於變壓器的OCR

layoutreader ：文本和佈局的預培訓，用於閱讀順序檢測

XLM-T ：多語言NMT，帶驗證的跨語義編碼器

鏈接

llmops（repo）

啟用具有LLMS和MLLM的AI功能的通用技術。

紅石（倉庫）

為大語言模型策劃一般，代碼，數學和質量檢查數據。

消息

2024年12月： Redstone發行了！
2023年12月： Longnet和Longvit發行
[模型發布] 12月，2023年： TextDiffuser-2型號，代碼和演示。
9月，2023年： KOSMOS-2.5-一種用於文本密集型圖像的機器讀數的多模式識字模型。
[模型發布] 5月，2023年： TextDiffuser模型和代碼。
[模型發布] 2023年3月： BEIT-3預處理的型號和代碼。
2023年3月： KOSMOS-1-一種多模式的大語言模型（MLLM），可以感知一般方式，在上下文中學習（即，很少射擊）並遵循說明（即，零照片）。
2023年1月： VALL-E用於語音綜合文本（TTS）的語言建模方法，該方法實現了最先進的零照片TTS性能。請參閱https://aka.ms/valle有關我們作品的演示。
[模型發布] 2023年1月： E5-通過弱監督對比預訓練的文本嵌入。
2022年11月：釋放了Torchscale 0.1.1 ！
2022年11月：特羅克（Trocr）被AAAI 2023年接受。
[模型發布] 2022年11月： XDOC基本模型，用於跨格式文檔的理解。
[模型發布] 2022年9月： Trocr基礎和場景文本識別的大型模型（STR）。
[模型發布] 2022年9月： BEIT V2代碼和預驗證的型號。
2022年8月： BEIT-3-通用多模式模型，在視覺和視力語言任務上都實現了最先進的轉移性能
2022年7月： SIMLM-大規模自我監督的預訓練以匹配相似性
2022年6月： DIT和LayoutlMV3被ACM Multimedia 2022接受。
2022年6月： Metalm-語言模型是基礎模型的通用接口（語言/多語言，視覺，語音和多模式）
2022年6月： VL-BEIT-雙向多模式變壓器通過一項統一的預處理任務，一個共用的骨乾和一個階段訓練從頭開始學習，支持視覺和視覺語言任務。
[模型發行] 2022年6月： Layoutlmv3中文- 中文版本的Layoutlmv3
[代碼發布] 2022年5月：激進的解碼- SEQ2SEQ生成的無損速度
2022年4月：變壓器的規模= deepnet + x-moe
[模型發布] 2022年4月： Layoutlmv3-帶有統一文本和圖像掩蔽的文檔AI的預培訓
[型號發布] 2022年3月： EdgeFormer -Device Seq2Seq生成的參數效率變壓器
[模型發布] 2022年3月： DIT-自我監督的文檔圖像變壓器。演示：文檔佈局分析，文檔圖像分類
2022年1月： BEIT被ICLR 2022作為口頭表現（3391分中的54）接受。
[模型發布] 2021年12月16日：手寫和印刷文本的Trocr小型型號，帶有3倍的推理加速。
2021年11月24日： VLMO作為VQA挑戰的新SOTA
2021年11月：大規模的多語言翻譯：10000語言對及以後
[模型發布] 2021年11月： Markuplm-文本和標記語言的預培訓（例如HTML/XML）
[模型發布] 2021年11月： VLMO-統一視力語言預訓練與BEIT
2021年10月： Wavlm大型在精湛的基准上取得了最先進的表現
[模型發布] 2021年10月： WAVLM-大規模自我監管的言語預訓練模型。
[模型發布] 2021年10月： Trocr在擁抱面上
2021年9月28日：T-ULRV5（又名XLM-E/Infoxlm）作為Xtreme排行榜上的SOTA。 // 部落格
[型號發布] 2021年9月： layoutlm持續的huggingface
[模型發布] 2021年9月：帶有預訓練的Beit和Roberta模型的TROR-TROCR-基於變壓器的OCR。
2021年8月： layoutlmv2和layoutxlm在huggingface上
[模型發布] 2021年8月： Layoutreader-使用Layoutlm構建，以改善一般閱讀訂單檢測。
[模型發行] 2021年8月： Deltalm-語言生成和翻譯的編碼器訓練預訓練。
2021年8月： Beit在Huggingface上
[模型發布] 2021年7月： Beit-邁向CV的BERT時刻
[模型發布] 2021年6月： Layoutlmv2 ， LayoutXLM ， Minilmv2和Adalm 。
2021年5月：ACL 2021接受了Layoutlmv2，InfoxlMV2，Minilmv2，Unilmv3和Adalm。
2021年4月：LayoutXLM即將擴展到多語言支持中，即可到達。還引入了一種多語言形式，理解基準Xfund，其中包括具有7種語言（中文，日語，西班牙語，法語，意大利語，德語，葡萄牙語）的人類標記的鑰匙值對的形式。
2021年3月：Infoxlm被NAACL 2021接受。
2020年12月29日：Layoutlmv2與新的SOTA一起執行了各種文檔AI任務，包括DocvQA和Sroie Lefferboard。
2020年10月8日：T-ULRV2（又名Infoxlm）作為Xtreme排行榜上的SOTA。 // 部落格
2020年9月：Minilm被2020年Neurips接受。
2020年7月16日： Infoxlm （多語言Unilm）ARXIV
2020年6月：unilmv2被ICML 2020接受； Layoutlm被KDD 2020接受。
2020年4月5日：發行的多語言微小！
2019年9月：UNILMV1被Neurips 2019接受。