awesome japanese llm

日本LLM摘要

[英语| 。

引用

该存储库的摘要也被发布为预印本：探索日语的开放大语模型：实用指南

如果您指的是此存储库，请引用：

 @article{awesomeJapanese2024,
    title={{Exploring Open Large Language Models for the Japanese Language: A Practical Guide}},
    author={Kaito Sugimoto},
    doi={10.51094/jxiv.682},
    journal={Jxiv preprint},
    year={2024}
}

脚注

1. 已经进行了一些架构更改。有关更多信息，请参见下文：预先学习原始LLM“ PLAMO-100B”，比例为1000亿参数↩

2. 有关更多信息，请参见以下文章：开发大规模语言模型时学习前后的战略注释，包括大规模语言模型Tanuki-8b和8x8b等的定位和开发指南，尤其是在合成数据上 - ^↩2

3. 但是，为了加快模型的速度，原始的美洲驼发生了变化。有关更多信息，请参见下文：PLAMO-13B已发布↩

4. 尽管未指定详细信息，但新闻稿指出以下内容：除了开放数据集外，培训数据还包括稳定性AI日本创建的原始数据集，以及通过Eletherai Polyglot项目的日本语言团队和稳定社区日本成员的日本语言团队合作而创建的数据。 '↩

5. 这项研究对训练有素的语言模型进行了评估，该模型可以预测从右到左而不是通常的左至右的单词。普通语言模型均已发布。 ↩

6. 在执行指令调整之前，我们添加了聊天向量，这是Llama 3指令和Llama 3基础之间的区别。 ^↩2

7. 执行指令调整后，添加了聊天向量，这是Llama 3指令和Llama 3基础之间的区别。 ^↩2

8. 但是，如果您想将Karakuri LM用于商业目的，则需要联系开发人员Karakuri Co.，Ltd.。 ↩

9. 指令调整，该系统使用OpenAI模型（例如GPT-3.5和GPT-4）生成的数据来学习，因此可能违反了OpenAI法规。 ^{↩↩2↩3↩4↩5↩6↩7↩7↩9↩9↩10​​​​​​​​}

10. 在执行ORPO之前，我们添加了Gemma 2指令和Gemma 2基础之间差异的聊天向量。 ↩

11. ○：该模型已上传到HuggingFace的模型中心，可以使用AutoModel.from_pretrained()等立即读取。 △：没有模型上传到模型中心，但它们支持格式的HuggingFace（Transformers，以前是Pytorch-Transformers）。 ✕：该模型不支持拥抱面。 ↩

12. 这是一项研究，结合了各种词素分析仪和子单词技术。很难为所有组合列出模型，因此在这里我们介绍模型Juman +++ BPE，该模型在实验中具有最高的平均任务性能。 ↩

13. 但是，最大串联长度已延长至2048年，并且对原始BERT进行了各种架构变化。有关更多信息，请参见HuggingFace存储库中的Readme。 ↩

14. NLP-WASEDA/ROBERTA-BASE-JAPANESE和NLP-WASEDA/ROBERTA-LARGE-JAMAPANESE培训模型输入的最大令牌长度为128，而NLP-WASEDA/ROBERTA-WASEDA/ROBERTA-LARGE-LARGE-LARGE-JAPAMENSE-SEQ512预先培训为512↩

15. 但是，最大串联长度从正常的512延长至1282，可以处理更长的输入语句。

16. 小研究是一项使用日本维基百科和日本金融语料库的刮擦研究，而基本的研究是一项不同的研究，使用日本金融语料库bert bert↩

17. 防护文字模型是一种模型，该模型使用mecab（ipa dictionary + varroom-prom-prom-prom-pationary）对单词进行分割，然后使用WordPiece进行子字，而句子模型是一个直接将单词转换为uligram而不拆分单词的模型。

18. 有关每个模型的详细信息，请参见作者论文的第4章。请注意，SC-2M Wiki模型仅在Wikipedia上进行了预训练，因此它不是严格的特定于域的模型。 ↩

19. 使用基于验证的语言模型的密集文本检索对嵌入模型进行分类：调查（Zhao+，2022）。 Bi-编码器是一个架构，其中两个输入分别输入到一个模型中，每个模型都被矢量化，然后通过制定这些输入的点产物和余弦相似性来为输入的接近度。相比之下，跨编码器是一种架构，可将两个输入输入到模型中，并直接计算模型中的接近度。在信息提取的领域，跨编码器的计算代价更高，但是由于预计该模型会更细微地计算输入的接近度，因此通常将其用作重新启发器来重新检查提取结果的顺序。此外，在双重编码器中，有一些双重编码器将输入表示为多个向量（例如，Colbert）而不是单个向量（例如，Colbert），因此它们已被进一步分为单个代表性的双重编码器和多代占主导地位。 ↩

20. 但是，它要求人们牢记用于研究和教育目的。另请注意，您合并的模型的某些许可不是Apache 2.0。 ^{↩↩2↩3​}