awesome japanese llm
1.0.0
[英語| 。
該存儲庫的摘要也被發佈為預印本：探索日語的開放大語模型：實用指南
如果您指的是此存儲庫，請引用：
@article{awesomeJapanese2024,
title={{Exploring Open Large Language Models for the Japanese Language: A Practical Guide}},
author={Kaito Sugimoto},
doi={10.51094/jxiv.682},
journal={Jxiv preprint},
year={2024}
}
已經進行了一些架構更改。有關更多信息，請參見下文：預先學習原始LLM“ PLAMO-100B”，比例為1000億參數↩
有關更多信息，請參見以下文章：開發大規模語言模型時學習前後的戰略註釋，包括大規模語言模型Tanuki-8b和8x8b等的定位和開髮指南，尤其是在合成數據上-2.2
但是，為了加快模型的速度，原始的美洲駝發生了變化。有關更多信息，請參見下文：PLAMO-13B已發布↩
儘管未指定詳細信息，但新聞稿指出以下內容：除了開放數據集外，培訓數據還包括穩定性AI日本創建的原始數據集，以及通過Eleutherai Polyglot項目的日本語言團隊和穩定社區的成員創建的數據。 '↩
這項研究對訓練有素的語言模型進行了評估，該模型可以預測從右到左而不是通常的左至右的單詞。普通語言模型均已發布。 ↩
在執行指令調整之前，我們添加了聊天向量，這是Llama 3指令和Llama 3基礎之間的區別。 ↩2
執行指令調整後，添加了聊天向量，這是Llama 3指令和Llama 3基礎之間的區別。 ↩2
但是，如果您想將Karakuri LM用於商業目的，則需要聯繫開發人員Karakuri Co.，Ltd.。 ↩
指令調整，該系統使用OpenAI模型（例如GPT-3.5和GPT-4）生成的數據來學習，因此可能違反了OpenAI法規。 ↩↩2↩3↩4↩5↩6↩7↩7↩9↩9↩10
在執行ORPO之前，我們添加了Gemma 2指令和Gemma 2基礎之間差異的聊天向量。 ↩
○：該模型已上傳到HuggingFace的模型中心，可以使用AutoModel.from_pretrained()等立即讀取。 △：沒有模型上傳到模型中心，但它們支持格式的HuggingFace（Transformers，以前是Pytorch-Transformers）。 ✕：該模型不支持擁抱面。 ↩
這是一項研究，結合了各種詞素分析儀和子單詞技術。很難為所有組合列出模型，因此在這裡我們介紹模型Juman +++ BPE，該模型在實驗中具有最高的平均任務性能。 ↩
但是，最大串聯長度已延長至2048年，並且對原始BERT進行了各種架構變化。有關更多信息，請參見HuggingFace存儲庫中的Readme。 ↩
NLP-WASEDA/ROBERTA-BASE-JAPANESE和NLP-WASEDA/ROBERTA-LARGE-JAMAPANESE培訓模型輸入的最大令牌長度為128，而NLP-WASEDA/ROBERTA-WASEDA/ROBERTA-LARGE-LARGE-LARGE-JAPAMENSE-SEQ512預先培訓為512↩
但是，最大串聯長度從正常的512延長至1282，可以處理更長的輸入語句。
小研究是一項使用日本維基百科和日本金融語料庫的刮擦研究，而基本的研究是一項不同的研究，使用日本金融語料庫bert bert↩
防護文字模型是一種模型，該模型使用mecab（ipa dictionary + varroom-prom-prom-prom-pationary）對單詞進行分割，然後使用WordPiece進行子字，而句子模型是一個直接將單詞轉換為umigram而不拆分單詞↩↩↩↩↩↩igram的模型
有關每個模型的詳細信息，請參見作者論文的第4章。請注意，SC-2M Wiki模型僅在Wikipedia上進行了預訓練，因此它不是嚴格的特定於域的模型。 ↩
使用基於驗證的語言模型的密集文本檢索對嵌入模型進行分類：調查（Zhao+，2022）。 Bi-編碼器是一個架構，其中兩個輸入分別輸入到一個模型中，每個模型都被矢量化，然後通過制定這些輸入的點產物和余弦相似性來為輸入的接近度。相比之下，跨編碼器是一種架構，可將兩個輸入輸入到模型中，並直接計算模型中的接近度。在信息提取的領域，跨編碼器的計算代價更高，但是由於預計該模型會更細微地計算輸入的接近度，因此通常將其用作重新啟發器來重新檢查提取結果的順序。此外，在雙重編碼器中，有一些雙重編碼器將輸入表示為多個向量（例如，Colbert）而不是單個向量（例如，Colbert），因此它們已被進一步分為單個代表性的雙重編碼器和多代占主導地位。 ↩
但是，它要求人們牢記用於研究和教育目的。另請注意，您合併的模型的某些許可不是Apache 2.0。 ↩↩2↩3
