ml engineering下載 - ml engineering源代碼下載

ml engineering

其他源碼

1.0.0

下載

機器學習工程開放書

這是一個開放的方法，工具和逐步指示，可幫助成功培訓大型語言模型和多模式模型及其推斷。

這是適合LLM/VLM培訓工程師和運營商的技術材料。這就是這裡的內容包含許多腳本和復制n-paste命令，使您能夠快速滿足您的需求。

這個倉庫是我持續的大腦轉儲，是我培訓大語言模型（LLM）（和VLMS）的經驗；我在2022年培訓開源Bloom-176b模型和2023年的IDEFICS-80B多模式模型時獲得的許多專有技術，以及2024年的Contextul.ai的RAG模型。

我一直在為自己編譯這些信息，以便我可以很快找到過去已經研究過並有效的解決方案，但是像往常一樣，我很高興與更廣泛的ML社區分享這些筆記。

更新

我在Twitter頻道上宣布任何重大更新https://twitter.com/stasbekman。

PDF版本

下載該書的PDF版本。

我將嘗試每週左右重建一次，但是如果您想要最新的建築說明。

感謝Huggingface允許我在HF樞紐託管我的PDF。

討論

如果您想討論與ML Engineering相關的內容，則此倉庫將提供社區討論 - 因此，請隨時分享您的經驗或開始對您熱衷的事情進行新的討論。

鑰匙比較表

高端加速器：

理論加速器Tflops
加速器內存尺寸和速度

網絡：

理論節點速度
理論節點速度

捷徑

您可能需要快速和經常找到的東西。

工具：

all_reduce_bench.py-比NCCL檢驗比基準網絡吞吐量的一種更容易的方法。
Torch-Distributed-GPU-Test.py-一種快速測試節點連接性的工具

指南：

調試Pytorch應用程序 - 快速復制N-Paste解決方案，以解決懸掛或打破Pytorch應用程序
用戶的slurm- slurm作弊表和技巧
製作微型型號/數據集/標記器
LLM/VLM Chronicles Collection

感激

如果我被委託進行特定的LLM/VLM培訓，我從中學到了最初的專業知識，這是不可能的。由於租用巨大的ML計算集群的高昂昂貴成本，這是一種享受的特權。因此，希望其餘的ML社區能夠從這些筆記中學習。

特別感謝湯姆·沃爾夫（Thom Wolf），他建議當我對大型訓練一無所知時，我會帶領Bloom-176B訓練。這是使我進入激烈學習過程的項目。而且，當然，擁抱面，讓我有機會在Bloom-176B上全職工作，然後在IDEFICS-80B培訓上工作。

最近，我繼續在培訓模型和構建可擴展的培訓/推理系統的同時繼續擴展自己的知識和經驗，我感謝Aman和Douwe的機會。

我還要說，感謝眾多貢獻者使此文本很棒且無錯誤。

貢獻

如果您發現一個錯誤，錯字或想提出改進，請隨時打開問題或貢獻PR。

執照

該站點的內容分佈在歸因 - 共享4.0國際。

引用

 @misc { bekman2024mlengineering ,
  author = { Bekman, Stas } ,
  title = { Machine Learning Engineering Open Book } ,
  year = { 2023-2024 } ,
  publisher = { Stasosphere Online Inc. } ,
  journal = { GitHub repository } ,
  url = { https://github.com/stas00/ml-engineering }
}