moe paper models
1.0.0
| 作者 | 标题 |
|---|---|
亚当·G | 邮政纸实验设置 |
该存储库用作著名的纸质实验设置的集合。请注意，对于某些指标，这些可能是不完整或错误的，如果可以随意提出问题，我会尽快对其进行修改。
在这些论文中检查的主要任务：
| 纸 | 年 | 专家规模 | 总尺寸 | num exp（每一层） | 数层 |
| 巨型 | 11/2022 | N/A。 | 839m-13b | 64 | 3/6/12 |
| DeepSpeed-Moe | 01/2022 | 1.3/2.4/8/24/47b | 52/107/349/1064.9/2024b | 128 | 24/16/30/40/58 |
| DeepSpeed-Moe | 01/2022 | 1.3/2.4/8/24/47b | 52/107/349/1064.9/2024b | 128 | 24/16/30/40/58 |
| 专家选择路由 | 02/2022 | 0.145/9.8b | 1.9/143b | 64 | 16 |
| 任务级的萌 | 09/2022 | 4096 FFN尺寸 | 533m/13b | 32/128 | 11 |
| 哈希层（vs开关） | 06/2021 | 4096 FFN尺寸 | 751m/852m/1.28b | 64/16/128 | 1/5/1 |
| 哈希层（vs基础） | 06/2021 | 100m/33m | 4.5b | 32/3x32 | 1/3 |
| GSHARD | 06/2020 | 8196 FNN尺寸 | 37/150/600B | 128/512/2048 | 12/36（对于每个数字） |
| Fastermoe | 03/2022 | 1024/2048/4096 FFN尺寸 | 13.1/13.7/27.4b | 16/64/16 | 12/12/24 |
| St-Moe | 02/2022 | 2816/20480 | 4.1/269b | 32/64 | 6/6（每4） |
| 随机路由 | 09/2022 | 20m-200m | 8/16 | 4/12 | |
| 门控辍学 | 05/2022 | 5.6/10b | 128/64 | 12/24 | |
| 基层 | 03/2021 | 135/335/911m | 1.5/44/117B | 128？ | 1（基础层） |
| 开关变压器 | 01/2021 | 768/1024/4096 FFN尺寸 | 7/26/395/1571b | 128/128/64/2048 | 12/24/24/15（其他） |
| Evo Moe | 12/2021 | 335m（MT/MLM/LM） | 1.5（MT）/1.8（MLM LM） | 4（MT）/16（MLM LM） | 6（MT）/12（MLM LM） |
| 稳定的莫克（LM） | 04/2022 | 3072/4096 FFN尺寸 | 454m/3.22b | 32/64 | 1/1 |
| 稳定的莫克（MT） | 04/2022 | 2048 FFN尺寸 | 480m | 32 | 2 |
| 巨大的穆斯（LM） | 01/2017 | 1M（DIMS = 1024x512） | 0.8/0.9/1.1/1.1/1.9/5.1 | 4/32/256/256/1024/4096 | 1 |
| 大穆斯（LM-LARGE）令人毛骨悚然 | 01/2017 | 1m | 0.1/0.4/1.2/4.4/17.3/68.9/137.7 | 32＆256/1024/4096/16384/65536/131072-H | 1 |
| 大穆斯（MT） | 01/2017 | 2m | 8.7b | 32＆512/2048-H | 2（在堆叠的编码器和解码器之间） |
| 大穆斯（MTMT） | 01/2017 | 8192 FFN尺寸 | 8.7b | 512 | 2 |
| NLLB | 07/2022 | 8192 FFN尺寸/33.6m | 54.5b/51.6b专家规模 | 128 | 6个exp层 |
| 内存有效的NLLB | 12/2022 | 8192 FFN尺寸/33.6m | 〜1.32b假设修剪80％ | 每层〜288总体288 | 6个exp层 |
| 华丽 | 12/2021 | 8192＆16384＆32768 FFN尺寸 | 20/27/53＆105/143b＆1.2t | 32/64/128＆256/64＆64 | 24＆32＆64（其他每一层） |
| 亚马逊射手制造商 | |||||
| M6-T稀疏专家 | 05/2021 | 1024x4096＆1024x21248 | 1.4＆10.8＆103.2＆1002.7b | 32＆128＆512＆960（总数） | 5＆10＆24＆24 |
=未经证实或暗示其实验的值。
对于硬件要求，斜杠表示不同的配置。
| 纸 | 基线 | 硬件要求 | 记忆 | top-k | 容量 |
| 巨型 | 变压器基于GPT3-XL（46m至1.3b） | 8x A100 80GB | 1 | 1/1.5/2x | |
| DeepSpeed-Moe | 可扩展的萌 | 128x A100 80GB | 2* | 2 | |
| 专家选择路由 | GSHARD | 512X TPU V4 | N/A* | 2* | |
| 任务级的萌 | 变压器基础（142m）/令牌/句子MOE | 32X TPU V3 | 1 | ||
| 哈希层（vs开关） | 变压器基准（225/755m）/开关变压器 | 8 32GB V100 | *1 | ||
| 哈希层（vs基础） | 基层 | 16 32GB V100 | *1 | ||
| GSHARD | GPIPE/BASE变压器 | 128/512/2048x TPU V3 | 2 | 2 | |
| Fastermoe | FastMoe/ gshard/ base | 16/64x V100 | 2 | ||
| St-Moe | 密集l/ t5 xxl/ switch xxl | TPU | 2 | 1.25盖因子 | |
| 随机路由 | 雷神/变压器密集 | 8x V100 | 1/2/4/8/16 | ||
| 门控辍学 | 可扩展的萌 | V100/A100的16/64x | 1 | 1/2（火车/测试） | |
| 基层 | SMOE和SWITCH（52B） | 8/32/128 32GB V100 | |||
| 开关变压器 | T5（223m碱/ 739m大） | 32X TPUV3 | 1 | ||
| Evo Moe | 开关/哈希层/base/stablemoe | 8x A100 | 1 | ||
| 稳定的莫克（LM） | 切换变压器/基础层/哈希层/变压器基础 | X V100 GPU | 1 | 1（从开关） | |
| 稳定的莫克（MT） | 变压器基和大/基层/哈希层/开关 | X V100 GPU | 1 | 1 | |
| 巨大的穆斯（LM） | Moe-1宽与深/ 4XLSTM-512/ LSTM-2048和8192 | 4-16X K40S | Moe-H 4或2 | ||
| 大穆斯（LM-LARGE）令人毛骨悚然 | Moe-1宽与深/ 4XLSTM-512/ LSTM-2048和8192 | 32/64/128X K40S | Moe-H 4或2 | ||
| 大穆斯（MT） | GNMT/PBMT/LSTM-6/DEEPATT | 64 K40 | Moe-H 4或2 | ||
| 大穆斯（MTMT） | gnmt-mono/gnmt-multi | 64 K40 | 2 | ||
| NLLB | 101.6GIB/每个GPU持有一个专家 | ||||
| 内存有效的NLLB | 3.3b NLLB密集/NLLB-200 54.5b | 1/4x V100 GPU | |||
| 华丽 | 开关/gpt-3/kg-fid/megatron-nlg | 1024x TPU V4（最大） | 对于最大的专家来说，不适合单个TPU | 2 | 2* |
| 亚马逊射手制造商 | |||||
| M6-T稀疏专家 | 他们自己与不同的TOP-K进行比较 | 480 V100 32GB |
在Google Scholar和语义学者中获取最高的引文数
| 纸 | 数据集 | 批量大小 | 开源 | 引用 | 笔记 |
| 巨型 | 堆 | 512 | n | 0 | |
| DeepSpeed-Moe | lambada/piqa/booolq/race-h/trivia-qa/webqs | 256/512 | y | 15/36 | |
| 专家选择路由 | 华丽 | N/A。 | n | 6 | |
| 任务级的萌 | WMT | N/A。 | n | 13 | |
| 哈希层（vs开关） | pushshift.io/roberta/wikitext-103/bst | 40 | y（部分） | 43 | |
| 哈希层（vs基础） | pushshift.io/roberta/wikitext-103/bst | 2 | y（部分） | 43 | |
| GSHARD | 自定义数据集 | 4m | y（仅TPU） | 305 | |
| Fastermoe | Wiki文字 | y | 22 | ||
| St-Moe | C4 1.5T | 1m | y | 26 | |
| 随机路由 | enwik8/bookcorpus | 128/256 | 审查 | 审查 | |
| 门控辍学 | WMT/Web-50 | 435k | n | 1/5 | |
| 基层 | 罗伯塔语料库和CC100 | y | 64/79 | ||
| 开关变压器 | 大型C4语料库（180b） | 1m | y | 525 | |
| Evo Moe | WMT（MT）/OpenWebText（LM MLM）/Wikipedia/OpenWebText | N/A。 | y | 11 | |
| 稳定的莫克（LM） | 罗伯塔和CC100 | 512k | y | 9 | |
| 稳定的莫克（MT） | WMT | 512k | y | 9 | |
| 巨大的穆斯（LM） | 1B字基准 | ？ | n（但已重新创建） | 1117/1050 | 在两个LSTM之间使用MUE层。 8.4/37.8/272.9/1079/4303m。 |
| 大穆斯（LM-LARGE）令人毛骨悚然 | 1000亿Google语料库 | 2.5m | “” | “” | 每个GPU最多可容纳10亿个参数。 64和128 GPU测试用于最后两个专家模型 |
| 大穆斯（MT） | WMT | ？ | “” | “” | 每个GPU最多可容纳10亿个参数。 |
| 大穆斯（MTMT） | corr | 1M（每GPU 16K） | “” | “” | |
| NLLB | Flores-200（eval）/盖策划的数据/拼双壁和普通爬行（单语） | 16K | y | 26/49 | 每第四层是一个萌层。 |
| 内存有效的NLLB | Flores-200（eval） | 16K | n | 0 | 释放一些结果，例如专家修剪等，每个第四个FFN Sublayer都被MOE层取代。 NLLB-200需要运行4x32 V100。这是80％的修剪模型。 |
| 华丽 | Glam Wustom的网页/Wikipedia/论坛等自定义数据集 | 1m | n | 59/84 | |
| 亚马逊射手制造商 | |||||
| M6-T稀疏专家 |
