StarryDivineSky
1.0.0
Coursera-ML-AndrewNg-Notes 吳恩達老師的機器學習課程個人筆記。 Machine Learning(機器學習)是研究計算機怎樣模擬或實現人類的學習行為，以獲取新的知識或技能，重新組織已有的知識結構使之不斷改善自身的性能。它是人工智能的核心，是使計算機具有智能的根本途徑，其應用遍及人工智能的各個領域，它主要使用歸納、綜合而不是演譯。在過去的十年中，機器學習幫助我們自動駕駛汽車，有效的語音識別，有效的網絡搜索，並極大地提高了人類基因組的認識。機器學習是當今非常普遍，你可能會使用這一天幾十倍而不自知。很多研究者也認為這是最好的人工智能的取得方式。在本課中，您將學習最有效的機器學習技術，並獲得實踐，讓它們為自己的工作。更重要的是，你會不僅得到理論基礎的學習，而且獲得那些需要快速和強大的應用技術解決問題的實用技術。最後，你會學到一些矽谷利用機器學習和人工智能的最佳實踐創新。 本課程提供了一個廣泛的介紹機器學習、數據挖掘、統計模式識別的課程。主題包括： （一）監督學習（參數/非參數算法，支持向量機，核函數，神經網絡）。 （二）無監督學習（聚類，降維，推薦系統，深入學習推薦）。 （三）在機器學習的最佳實踐（偏差/方差理論；在機器學習和人工智能創新過程）。本課程還將使用大量的案例研究，您還將學習如何運用學習算法構建智能機器人（感知，控制），文本的理解（Web搜索，反垃圾郵件），計算機視覺，醫療信息，音頻，數據挖掘，和其他領域。 本課程需要10週共18節課，相對以前的機器學習視頻，這個視頻更加清晰，而且每課都有ppt課件，推薦學習。
parrt/dtreeviz 用於決策樹可視化和模型解釋的python 庫。決策樹是梯度提昇機和隨機森林（tm） 的基本構建塊，這可能是結構化數據中兩種最流行的機器學習模型。在了解這些模型的工作原理和解釋模型時，可視化決策樹是一個巨大的幫助。可視化效果的靈感來自R2D3 的教育動畫;機器學習的視覺介紹。請參閱如何可視化決策樹，以更深入地討論我們的決策樹可視化庫和我們所做的可視化設計決策。目前dtreeviz 支持：scikit-learn、XGBoost、Spark MLlib、LightGBM 和Tensorflow。作者：特倫斯·帕爾（Terence Parr） 是谷歌的技術主管，直到2022 年，他是舊金山大學的數據科學/計算機科學教授，並於2012 年擔任舊金山大學數據科學碩士課程的創始主任。 Tudor Lapusan ；Prince Grover。主要代碼和可視化清理由Matthew Epland （@mepland） 完成。
pytorch/serve 在生產環境中提供、優化和擴展PyTorch 模型。特色：模型管理API ：通過優化從角色到模型的分配進行多模型管理、推理API ：對批量推理的REST 和gRPC 支持、 TorchServe 工作流：使用多個相互依賴的模型部署複雜的DAG、导出模型以进行优化推理：開箱即用的Torchscript，ORT和ONNX，IPEX，TensorRT，FasterTransformer、性能指南：內置支持優化、基準測試和分析PyTorch 和TorchServe 性能、富有表现力的处理程序：一種富有表現力的處理程序體系結構，通過開箱即用的支持，支持對用例的推理變得微不足道、指标API ：通過Prometheus 導出、自定義指標和PyTorch 分析器支持對系統級指標的開箱即用支持
finos/perspective 數據可視化和分析組件，特別適用於大型和/或流數據集。使用它來創建用戶可配置的報告、儀表板、筆記本和應用程序，然後在瀏覽器中獨立部署，或與Python 和/或Jupyterlab 協同部署。一個快速、內存高效的流式查詢引擎，用C++ 編寫並針對WebAssembly 和Python 編譯，具有用於Apache Arrow 的讀/寫/流式處理，以及基於ExprTK 的高性能列式表達式語言。一個與框架無關的用戶界面，打包為自定義元素，通過WebAssembly 在瀏覽器內提供支持，或通過WebSocket 服務器（Python/Node） 虛擬提供支持。 JupyterLab 小部件和Python 客戶端庫，用於筆記本中的交互式數據分析，以及可擴展的生產Voila 應用程序。
rmcelreath/rethinking rethinking是一個R 包，用於貝葉斯數據分析，它與McElreath的《統計重思考》一書配套使用。該包提供工具進行後驗分佈的快速二次近似和哈密頓蒙特卡洛模擬（通過RStan 或cmdstanr）。該包的獨特之處在於它要求用戶以顯式分佈假設列表的形式指定模型，這比傳統的公式化工具更繁瑣，但也更靈活、更強大，最重要的是，更有利於教學和學習。用戶必須寫出模型的每一個細節，才能真正理解模型。該包還提供了一個名為quap的函數，用於進行二次近似，並支持向量化參數，方便處理分類變量。該包沒有在CRAN 上發布，用戶需要從GitHub 上安裝。
jupyterhub/jupyterhub JupyterHub是一個多用戶Jupyter 筆記本服務器，它可以為多個用戶提供獨立的Jupyter 筆記本服務器。它通過一個中心Hub 來管理用戶登錄、啟動和代理單個用戶的Jupyter 筆記本服務器。 JupyterHub 使用Node.js 構建的代理服務器來將用戶請求轉發到相應的筆記本服務器。 JupyterHub 還提供了一個REST API，用於管理Hub 和用戶。安裝JupyterHub 需要Python 3.8 或更高版本、Node.js/npm 和一個PAM 模塊（如果使用默認的PAM 身份驗證器）。 JupyterHub 可以使用conda 或pip 安裝，並需要額外的軟件包，例如JupyterLab 或Jupyter notebook，才能在本地運行筆記本服務器。
galaxyproject/galaxy Galaxy是一個開源平台，旨在為每個人提供數據密集型科學分析能力。它提供了一個用戶友好的界面，允許用戶執行各種生物信息學分析，無需編寫代碼。 Galaxy 通過工具箱和工作流程來實現，這些工具箱和工作流程可用於執行數據分析任務。用戶可以輕鬆地共享和重用這些工具和工作流程，從而促進科學發現。 Galaxy 還提供了一個強大的管理界面，允許管理員管理和配置服務器。要開始使用Galaxy，請訪問https://getgalaxy.org/ 安裝並運行Galaxy。您可以在https://docs.galaxyproject.org/ 找到文檔，在https://training.galaxyproject.org/ 找到教程。
EmuKit/emukit Emukit是一個基於Python的工具箱，用於在決策、不確定性量化和統計仿真中使用各種方法，包括多保真度、實驗設計、貝葉斯優化、貝葉斯積分等。它適用於數據稀缺或難以獲取的複雜系統，通過傳播校準良好的不確定性估計，有效地利用有限資源。 Emukit支持多保真度仿真、貝葉斯優化、實驗設計/主動學習、敏感性分析和貝葉斯積分等功能，並與Python生態系統中的各種機器學習工具兼容。用戶可以通過pip install emukit安裝Emukit，並參考教程筆記本和文檔了解更多信息。
raghakot/keras-vis keras-vis是一個用於可視化和調試訓練好的Keras 神經網絡模型的高級工具包，支持激活最大化、顯著性映射和類別激活映射等可視化方法，並可用於N 維圖像輸入。該工具包將所有可視化方法抽象為能量最小化問題，提供簡潔易用的接口，兼容Theano 和TensorFlow 後端，並支持"channels_first" 和"channels_last" 數據格式。你可以通過定義加權損失函數和配置優化器來最小化損失，從而生成自然逼真的圖像。項目還提供了多種示例，方便你快速上手。
srush/GPU-Puzzles GPUPuzzles 項目是一個通過解決一系列GPU 編程謎題來學習CUDA 的交互式教程。它使用NUMBA 將Python 代碼直接映射到CUDA 內核，讓用戶能夠在無需深入了解底層CUDA 代碼的情況下學習GPU 編程。項目提供一系列謎題，從簡單的向量加法開始，逐步引導用戶學習更複雜的GPU 編程概念，最終能夠理解深度學習中常用的算法。項目還提供Colab 筆記本，方便用戶快速上手。此外，項目還提供一個YouTube 視頻教程，詳細講解項目內容。
DataExpert-io/data-engineer-handbook 這是一個包含數據工程學習資源的倉庫，涵蓋了從入門到精通的各個方面。它提供了一個2024年數據工程學習路線圖，以及免費的6週YouTube數據工程訓練營，並包含了大量書籍、社區、公司和工具的鏈接。其中包括數據工程必讀書籍、熱門數據工程社區、數據工程相關公司以及數據湖、數據倉庫、數據質量、數據集成等領域的相關工具。該倉庫還提供了數據分析和可視化工具的鏈接，以及數據工程學習和麵試準備的資源。
tensorflow/lingvo Lingvo是一個基於TensorFlow 的神經網絡構建框架，尤其擅長構建序列模型。它提供了一系列預訓練模型，包括自動語音識別、機器翻譯、圖像處理和語言建模等。 Lingvo 支持TensorFlow 2.9 及以上版本，並提供了快速入門指南，幫助用戶快速上手使用。 Lingvo 還包含GShard 變壓器模型，可以用於構建大型語言模型。此外，Lingvo 還提供了3D 物體檢測模型。用戶可以參考Lingvo 文檔，了解其詳細功能和使用方法。
selfteaching/the-craft-of-selfteaching 這是一個名為"the-craft-of-selfteaching" 的GitHub 項目，旨在幫助人們掌握自學技巧。項目作者認為自學能力是未來成功的關鍵，並通過一系列Jupyter Notebook 文件，提供了一套完整的自學方法論。該項目以編程學習為切入點，強調閱讀、練習和實踐的重要性，並提供JupyterLab 安裝和使用指南，方便讀者學習和實踐。項目還包含瞭如何使用Pull Request 貢獻內容的說明，鼓勵讀者參與其中。
fairlearn/fairlearn Fairlearn是一個Python包，幫助開發者評估和改善機器學習模型的公平性。它包含了用於評估模型的公平性指標和用於緩解不公平問題的算法。 Fairlearn定義了兩種類型的傷害：分配傷害和服務質量傷害，並通過組公平性方法來識別受影響的群體。 Fairlearn提供了多種公平性指標和算法，幫助開發者評估和緩解模型中的不公平問題。用戶可以通過Fairlearn的文檔和示例代碼了解如何使用它。
apple/corenet CoreNet是一個深度神經網絡工具包，允許研究人員和工程師訓練標準和新型的小型和大規模模型，用於各種任務，包括基礎模型（例如CLIP 和LLM）、目標分類、目標檢測和語義分割。它包含用於音頻和視頻處理的可選依賴項，並支持使用Git LFS進行測試和Jupyter 筆記本運行。 CoreNet 還包含了Apple 使用該庫進行研究的出版物列表，以及鏈接到預訓練模型的訓練和評估配方。
zetane/viewer 免費的Zetane Viewer 是一款幫助理解和加速機器學習和人工神經網絡發現的工具。它可以通過可視化和理解模型的架構和內部數據（特徵圖、權重、偏差和層輸出張量）來打開AI 黑匣子。它可以被認為是一種工具，用於對人工神經網絡和機器學習算法進行神經成像或腦成像。您還可以使用Zetane Python API 通過幾個命令直接從現有腳本或筆記本啟動您自己的Zetane 工作區。
karpathy/nn-zero-to-hero 這是一個從零開始學習神經網絡的課程，包含一系列YouTube 視頻，通過代碼和訓練神經網絡來學習。課程內容涵蓋基礎知識，如反向傳播、語言建模等，並提供Jupyter 筆記本和練習。該項目特色是使用微型梯度庫(micrograd) 和makemore項目來演示神經網絡的構建和訓練過程，並深入探討了反向傳播、語言建模、多層感知器(MLP)、激活函數、批量歸一化等關鍵概念。
TingsongYu/PyTorch-Tutorial-2nd 《Pytorch實用教程》（第二版）是一本從零基礎到深度學習工程化應用的全面指南，涵蓋Pytorch在計算機視覺、自然語言處理和大規模項目中的應用實例，適合初學者和進階開發者。本書更新了多個深度學習應用示例和工程實踐章節，旨在幫助讀者快速掌握Pytorch並應用於實際項目。項目地址：PyTorch實用教程，請Star支持！
WeiHongLee/Awesome-Multi-Task-Learning Awesome-Multi-Task-Learning 是一個持續更新的多任務學習資源列表，包含了相關領域的論文、研究、基準數據集、代碼庫等。該項目旨在為研究人員和開發者提供一個方便的資源庫，幫助他們了解多任務學習的最新進展，並進行相關研究和開發。項目內容包括：多任務學習綜述、基準數據集和代碼、論文、多領域多任務學習、研討會、在線課程和相關資源列表。
loveunk/machine-learning-deep-learning-notes 機器學習、深度學習的學習路徑及知識總結，始於2016年Alpha Go事件後，人工智能技術在科研和工業領域展現出巨大應用價值，大幅提升了算法效率和準確率。我們在實踐中學習並過渡到新的技術融合路徑，系統地完善了深度學習及其相關技術。文檔記錄了我們在學習過程中總結的內容，幫助理解和分析機器學習算法，涵蓋數學基礎、Python編程等關鍵領域。
MIND-Lab/OCTIS OCTIS是一個用於優化和比較主題模型的Python包，它使用貝葉斯優化方法來估計主題模型的最佳超參數。該項目已被EACL2021演示環節接受。 OCTIS提供預處理數據集、多種主題模型（包括經典模型和神經模型）、多種評估指標、貝葉斯優化超參數以及Python庫和Web儀表板等功能。用戶可以使用預處理的基準數據集，或使用自己的數據集，並通過教程快速上手。
markdregan/Bayesian-Modelling-in-Python 這是一個使用PyMC3 庫進行貝葉斯建模的Python 教程，它旨在為那些了解貝葉斯統計基礎並希望學習如何使用Python 構建貝葉斯模型的人提供一個編程指南。教程涵蓋了從參數估計到模型檢查、層次模型、貝葉斯回歸、生存分析、A/B測試等多個主題，並提供了相應的代碼示例和解釋。教程還鼓勵用戶貢獻，並提供了一些學習貝葉斯統計的推薦資源。
fehiepsi/rethinking-numpyro 這是一個將Richard McElreath 的《統計思維》（第二版）中的代碼移植到NumPyro的項目，旨在幫助NumPyro/Pyro 用戶以及想要用Python 進行貝葉斯統計的人。該項目提供了Jupyter 筆記本，涵蓋了書中的所有示例和練習，並使用Arviz、NetworkX、Daft 等工具進行可視化和分析。此外，項目還提供了部分練習的解決方案，方便學習者理解和實踐。
personqianduixue/Math_Model 數學建模、美賽、美國大學生數學建模競賽、全國大學生數學建模競賽、華為杯研究生數學建模、國賽LaTeX模板、美賽LaTeX模板、mathorcup、電工杯、華中賽、APMCM、深圳杯、中青杯、華東杯、數維杯、東三省數學建模、認證杯、數學建模書籍、常用matlab算法、國賽評閱要點、軟件模型算法彙總、智能算法、優化算法、現代的算法
ClimbsRocks/auto_ml auto_ml是一個用於生產和分析的自動化機器學習庫，支持多種機器學習模型，包括深度學習、XGBoost、LightGBM和CatBoost。它可以自動選擇最佳模型並進行訓練，並提供快速高效的預測功能，適用於生產環境。用戶只需提供數據和目標變量，auto_ml就能自動完成模型訓練、評估和預測，並支持模型保存和加載，方便部署和使用。
google/objax Objax是一個開源機器學習框架，它通過極簡的面向對象設計和易讀的代碼庫來加速研究和學習。它結合了Object 和JAX 框架，旨在為研究人員提供一個簡單易懂的框架，方便他們閱讀、理解、擴展和修改代碼以滿足自身需求。用戶可以通過pip 安裝Objax，並使用示例代碼測試安裝。 Objax 支持GPU，但需要用戶自行安裝CUDA。
Yorko/mlcourse.ai 由OpenDataScience （ods.ai） 領導的開放式機器學習課程，由Yury Kashnitsky（Yorko）領導。 Yury擁有應用數學博士學位和Kaggle競賽大師級學位，旨在設計一門在理論與實踐之間取得完美平衡的ML課程。因此，該課程在講座中為您提供數學公式，並以作業和Kaggle 課堂競賽的形式進行大量練習。目前，該課程處於自定進度模式。
ericmjl/bayesian-stats-modelling-tutorial 該項目是一個使用NumPy 和PyMC3 進行貝葉斯統計建模的教程，提供Jupyter Notebook 文件，涵蓋了貝葉斯統計建模的基礎知識，包括模型構建、參數估計、模型比較和模型診斷等內容。用戶可以選擇在Binder 上運行教程，或通過Anaconda 或pipenv 在本地環境中運行。教程還提供了詳細的安裝和配置步驟，方便用戶快速上手。
Azure/MachineLearningNotebooks 這是一個使用Azure 機器學習Python SDK 的機器學習和深度學習示例的Python 筆記本倉庫，但已棄用，建議使用新的v2 SDK 示例倉庫。該倉庫提供使用Azure 機器學習Python SDK 的示例，推薦在Azure 機器學習計算實例中使用，但也可以在其他開發環境中使用。倉庫包含快速入門教程，並提供安裝說明和貢獻指南。
dformoso/machine-learning-mindmap 該項目是一個關於機器學習概念的思維導圖，涵蓋了從數據分析到深度學習的各個方面。它以PDF格式呈現，包含數據處理、數學基礎、機器學習概念、模型等內容，並提供配套的Jupyter Notebook和深度學習思維導圖。該項目旨在幫助學習者快速掌握機器學習的核心知識，並提供相關資源鏈接。
AccumulateMore/CV 最全面的深度學習筆記，涵蓋土堆Pytorch、李沐《動手學深度學習》、吳恩達《深度學習》等內容，包括視頻講解和代碼鏈接。項目附有PDF下載鏈接（提取碼：7vfm），可直接訪問GitHub頁面下載。使用Pycharm的Jupyter Notebook編寫時，圖片可能無法顯示，建議使用Anaconda的Jupyter Notebook進行編寫。
pymc-devs/pymc-resources 該項目提供PyMC3的學習資源，包括將其他書籍（如"Bayesian Modeling and Computationin Python"、"Statistical Rethinking"、"Bayesian Cognitive Modeling"等）中的模型移植到PyMC3。項目還包含貢獻指南，幫助用戶參與資源的開發和維護。所有代碼均遵循MIT許可證，除非目錄中另有說明。
HuaizhengZhang/AI-System-School 這是一個針對機器學習系統的綜合項目，涵蓋機器學習、大型語言模型（LLM）和生成式AI（GenAI）。項目包括基礎設施、白皮書、視頻教程等內容，涉及OSDI、NSDI、SIGCOMM等會議。該項目包含數據處理、訓練系統、推理系統、視頻系統、聯邦學習系統等多個領域，並提供相關代碼鏈接。
hesamsheikh/ml-retreat 一個中級到高級機器學習主題的學習筆記，涵蓋圖神經網絡等主題，包括基礎知識深入理解及相關必讀資源，目標是研究伊利亞·蘇斯克韋爾的30篇必讀論文、Distilled AI博客、Artem Kirsanov和Andrej Karpathy的課程，並深入理解變換器、大語言模型及其相關話題、幻覺、量子機器學習和Jax。
microsoft/AI-System 該項目是微軟AI 教育資源庫的一部分，提供關於人工智能係統設計的課程。課程內容涵蓋了人工智能係統的設計原理，並以“System for AI”為主題，旨在幫助學生了解人工智能係統的架構和工作原理。課程以代碼示例和實踐項目為主，旨在幫助學生掌握人工智能係統的實際應用。
Vay-keen/Machine-learning-learning-notes 周志華《機器學習》又稱西瓜書是一本較為全面的書籍，書中詳細介紹了機器學習領域不同類型的算法(例如：監督學習、無監督學習、半監督學習、強化學習、集成降維、特徵選擇等)，記錄了本人在學習過程中的理解思路與擴展知識點，希望對新人閱讀西瓜書有所幫助！
udlbook/udlbook Understanding Deep Learning(UDL) 是由Simon JD Prince 編寫的深度學習入門書籍，其GitHub 項目udlbook/udlbook 提供了該書的代碼和示例，涵蓋了深度學習的基礎知識、神經網絡架構、訓練方法、應用案例等內容，並使用Python 和TensorFlow 庫進行演示，適合初學者學習和實踐。
krasserm/bayesian-machine-learning 該項目是一個關於貝葉斯機器學習的Jupyter 筆記本集合，包含貝葉斯線性回歸、高斯過程回歸與分類、稀疏高斯過程、貝葉斯優化、貝葉斯神經網絡等主題，並提供使用NumPy、SciPy、scikit-learn、GPy、PyMC3、JAX、Keras、Tensorflow 2 和Tensorflow Probability 等庫的示例實現。
fuzzylabs/awesome-open-mlops MLOps（機器學習操作）是一門幫助人們在生產環境中成功訓練、部署和運行機器學習模型的學科。因為這是一個快速發展的新領域，所以有很多工具，而且新的工具一直在出現。這是Fuzzy Labs 指南，介紹了免費和開源MLOps 工具的世界。
DXY/Awesome-AutoDL 自動化深度學習：神經架構搜索不是終點（AutoDL 資源精選列表和深入分析）。自動化深度學習相關資源的精選列表。靈感來自令人敬畏的深度願景、令人敬畏的對抗性機器學習、令人敬畏的深度學習論文和令人敬畏的架構搜索。
TrickyGo/Dive-into-DL-TensorFlow2.0 本項目是《動手學深度學習》中文版教材的TensorFlow 2.0實現版本，由李沐老師認可，將原書的MXNet代碼改寫為TensorFlow 2.0代碼，方便讀者學習和實踐深度學習，包含代碼和文檔兩部分，基於Jupyter Notebook，並參考了PyTorch版本實現。
amusi/AI-Job-Notes AI算法崗求職攻略：涵蓋校招時間表、準備攻略、刷題指南、內推、AI公司清單和答疑等資料。 AI算法崗方向涉及：AIGC、大模型、深度學習、機器學習、計算機視覺、自然語言處理、圖像處理、自動駕駛、元宇宙、AIGC、SLAM等。
datasciencemasters/go 開源數據科學碩士項目旨在通過開放源代碼教育促進數據科學的普及和多樣性，以應對數據科學領域的倫理和社會問題，構建包容性和可持續的未來。項目強調數據科學和數據素養的廣泛性、可訪問性和對社會的積極影響。
TingsongYu/PyTorch_Tutorial 該項目是《Pytorch模型訓練實用教程》的配套代碼，提供了深度學習應用案例和教程，涵蓋CV、NLP和LLM等領域，並包含ONNX和TensorRT的學習內容。教程內容包括模型訓練、深度學習應用案例和原理講解，適合入門和進階學習。
microsoft/ai-edu 微軟人工智能教育與學習共建社區。由基礎教程、實踐案例、實踐項目三大模塊構成，通過系統化的理論教程和豐富多樣的實踐案例，幫助學習者學習並掌握人工智能的知識，並鍛煉在實際項目中的開發能力。
aladdinpersson/Machine-Learning-Collection 在此存儲庫中，您將找到與機器學習相關的教程和項目。我嘗試使代碼盡可能清晰，目標是用作學習資源和查找問題以解決特定問題的方法。對於大多數人，如果您想要代碼的演練，我還在YouTube上做了視頻解釋。
src-d/awesome-machine-learning-on-source-code 一個關於將機器學習應用於源代碼的精選資源列表，包括研究論文、數據集和軟件項目。該項目不再維護，建議使用ml4code.github.io。涵蓋了程序合成與歸納、源代碼分析與語言建模、神經網絡架構與算法等內容。
GokuMohandas/Made-With-ML 了解如何設計、開發、部署和迭代生產級ML 應用程序。在本課程中，將從實驗（設計+ 開發）到生產（部署+ 迭代）。我們將通過激勵組件來迭代地做到這一點，這些組件將使我們能夠構建可靠的生產系統。
hibayesian/awesome-automl-papers 自動化機器學習論文、文章、教程、幻燈片和項目的精選列表，自動化機器學習（AutoML） 提供了使機器學習可供非機器學習專家使用的方法和流程，以提高機器學習的效率並加速機器學習的研究。
ahmedbahaaeldin/From-0-to-Research-Scientist-resources-guide 為本科生或任何想在紮實基礎上深入研究人工智能領域的任何人提供詳細和量身定制的指南。本指南適用於任何具有基本編程知識或計算機科學背景的人，有興趣成為深度學習和NLP 研究科學家。
tangyudi/Ai-Learn 人工智能學習路線圖，整理近200個實戰案例與項目，免費提供配套教材，零基礎入門，就業實戰！包括：Python，數學，機器學習，數據分析，深度學習，計算機視覺，自然語言處理，等熱門領域
PAIR-code/facets 包含兩個用於理解和分析機器學習數據集的可視化效果：Facets Overview 和Facets Dive。可視化作為Polymer Web 組件實現，由Typescript 代碼提供支持，可以輕鬆嵌入到Jupyter 筆記本或網頁中。
donnemartin/data-science-ipython-notebooks 數據科學Python筆記本：深度學習（TensorFlow，Theano，Caffe，Keras），scikit-learn，Kaggle，大數據（Spark，Hadoop MapReduce，HDFS），matplotlib，pandas，NumPy，SciPy，Python essentials，AWS和各種命令行。
zergtant/pytorch-handbook pytorch handbook是一本開源的書籍，目標是幫助那些希望和使用PyTorch進行深度學習開發和研究的朋友快速入門，其中包含的Pytorch教程全部通過測試保證可以成功運行
d2l-ai/d2l-en 交互式深度學習書籍，包含多框架代碼、數學和討論。被斯坦福大學、麻省理工學院、哈佛大學和劍橋大學等60 個國家的400 所大學採用。
cbamls/AI_Tutorial 精選機器學習，NLP，圖像識別， 深度學習等人工智能領域學習資料，搜索，推薦，廣告系統架構及算法技術資料整理。算法大牛筆記匯總
baifanxxx/awesome-active-learning 很棒的主動學習精選列表。主動學習是機器學習的特殊情況，它可以與專家進行交互（或其他信息源），再使用輸出的新樣本進行學習。
mrdbourke/machine-learning-roadmap 2020 年機器學習路線圖（2023 年仍有90% 有效）,連接機器學習中許多最重要概念的路線圖，如何學習它們以及使用哪些工具來執行它們。
abmlai/annotated_deep_learning_paper_implementations 神經網絡和相關算法的簡單PyTorch 實現的集合。將這些呈現為並排格式化的筆記。我們相信這些將幫助您更好地理解這些算法。
dragen1860/TensorFlow-2.x-Tutorials TensorFlow 2.x版本的教程和示例，包括CNN，RNN，GAN，Auto-Encoders，FasterRCNN，GPT，BERT示例等。 TF 2.0版入門實例代碼，實戰教程。
pytorch/tutorials PyTorch 教程。熟悉PyTorch 概念和模塊。在本快速入門指南中了解如何加載數據、構建深度神經網絡、訓練和保存模型。
chenyuntc/pytorch-book 書籍《深度學習框架PyTorch：入門與實踐（第2版）》的對應代碼，但是也可以作為一個獨立的PyTorch入門指南和教程。
louisfb01/best_AI_papers_2021 按發布日期列出的人工智能最新突破（2021 年）的精選列表，附有清晰的視頻說明、更深入文章的鏈接和代碼。
louisfb01/start-machine-learning 機器學習（ML）、人工智能（AI） 的完整指南，無需任何該領域背景，並隨時了解最新消息和最先進的技術！
girls-in-ai/Girls-In-AI 免費學代碼系列：小白python入門、數據分析data analyst、機器學習machine learning、深度學習deep learning、kaggle實戰
ageron/handson-ml2 一系列Jupyter筆記本，引導您使用Scikit-Learn，Keras和TensorFlow 2了解Python中的機器學習和深度學習的基礎知識。
ageron/handson-ml3 一系列Jupyter筆記本，引導您使用Scikit-Learn，Keras和TensorFlow 2了解Python中的機器學習和深度學習的基礎知識。
ujjwalkarn/Machine-Learning-Tutorials 包含機器學習和深度學習教程、文章和其他資源的主題精選列表。其他很棒的列表可以在此列表中找到。
d2l-ai/d2l-zh 《動手學深度學習》：面向中文讀者、能運行、可討論。中英文版被60多個國家的400多所大學用於教學。
kmario23/deep-learning-drizzle 通過從這些令人興奮的講座中學習，讓自己沉浸在深度學習、強化學習、機器學習、計算機視覺和NLP
ShusenTang/Deep-Learning-with-PyTorch-Chinese 將PyTorch官方書籍《Deep learning with PyTorch》（基本摘錄版）翻譯成中文版並給出可運行的相關代碼。
ritchieng/the-incredible-pytorch 一個精選的教程、項目、庫、視頻、論文、書籍以及與令人難以置信的PyTorch 相關的任何內容。
lexfridman/mit-deep-learning 麻省理工學院深度學習相關課程的教程、作業和競賽。 deeplearning.mit.edu
dusty-nv/jetson-inference Hello AI World 指南，介紹如何使用TensorRT 和NVIDIA Jetson 部署深度學習推理網絡和深度視覺基元。
datawhalechina/pumpkin-book 本書旨在對西瓜書裡比較難理解的公式加以解析，以及對部分公式補充具體的推導細節。
ShusenTang/Dive-into-DL-PyTorch 本項目將《動手學深度學習》(Dive into Deep Learning)原書中的MXNet實現改為PyTorch實現。
bharathgs/Awesome-pytorch-list github上pytorch相關內容的完整列表，例如不同的模型，實現，幫助程序庫，教程等。
Jack-Cherish/Machine-Learning 機器學習實戰（Python3）：kNN、決策樹、貝葉斯、邏輯回歸、SVM、線性回歸、樹回歸
aws/amazon-sagemaker-examples 示例Jupyter 筆記本，演示如何使用Amazon SageMaker 構建、訓練和部署機器學習模型
fastai/fastbook 這些筆記本介紹了深度學習、fastai 和PyTorch。 fastai 是用於深度學習的分層API。
wesm/pydata-book Wes McKinney的“Python for Data Analysis”材料和IPython筆記本，由O'Reilly Media出版
microsoft/AI-For-Beginners Microsoft的Azure 雲倡導者很高興提供為期12 週、每節課的人工智能課程。
EthicalML/awesome-production-machine-learning 精選的開源庫列表，用於部署、監控、版本控制和擴展您的機器學習
jakevdp/PythonDataScienceHandbook 包含完整的Python 數據科學手冊，其形式為（免費！Jupyter 筆記本。
trekhleb/homemade-machine-learning 流行的機器學習算法的Python示例，並解釋了交互式Jupyter演示和數學
floodsung/Deep-Learning-Papers-Reading-Roadmap 深度學習論文閱讀路線圖，適合任何渴望學習這項驚人技術的人！
PKUFlyingPig/cs-self-learning 計算機自學指南深度學習入門開源書，基於TensorFlow 2.0案例實戰。
rougier/scientific-visualization-book 一本關於使用python 和matplotlib 進行科學可視化的開放獲取書籍
fastai/numerical-linear-algebra 用於計算線性代數課程fast.ai Jupyter 筆記本的免費在線教科書
owainlewis/awesome-artificial-intelligence 人工智能（AI） 課程、書籍、視頻講座和論文的精選列表。
eugeneyan/applied-ml 生產中的數據科學和機器學習的精選論文、文章和博客。
pytorch/examples 一組關於pytorch 在視覺、文本、強化學習等方面的示例。
fengdu78/deeplearning_ai_books deeplearning.ai（吳恩達老師的深度學習課程筆記及資源）
mrdbourke/pytorch-deep-learning 學習用於深度學習的PyTorch：從零到精通課程的材料。
NirantK/awesome-project-ideas 機器學習、NLP、視覺、推薦系統項目創意的精選列表
MorvanZhou/PyTorch-Tutorial 輕鬆快速地構建您的神經網絡， 莫煩Python中文教學
mli/paper-reading 深度學習經典、新論文逐段精讀。包括視頻講解。
ashishpatel26/500-AI-Machine-learning-Deep-learning-Computer-vision-NLP-Projects-with-code 500個AI機器學習深度學習計算機視覺NLP 代碼項目
dragen1860/Deep-Learning-with-TensorFlow-book 深度學習入門開源書，基於TensorFlow 2.0案例實戰。
dair-ai/ML-YouTube-Courses 在YouTube 上發現最新的機器學習/人工智能課程。
sgrvinod/Deep-Tutorials-for-PyTorch 使用PyTorch 自行實現深度學習模型的深入教程。
ZuzooVn/machine-learning-for-software-engineers 學習成為機器學習工程師的完整日常計劃。
ukas/ml-class 專為工程師設計的機器學習課程和教學項目
bangoc123/learn-machine-learning-in-two-months 在2 個月內學習好機器學習所需的知識。
kailashahirwar/cheatsheets-ai 深度學習和機器學習工程師的基本備忘單
microsoft/ML-For-Beginners 微軟給初學者開源了一份機器學習課程。
afshinea/stanford-cs-229-machine-learning 斯坦福大學CS 229 機器學習的VIP 備忘單
Dod-o/Statistical-Learning-Method_Code 實現李航《統計學習方法》中全部算法
ChristosChristofidis/awesome-deep-learning 精選深度學習教程、項目和社區列表。
josephmisiti/awesome-machine-learning 機器學習框架、庫和軟件的精選列表
fengdu78/lihang-code 《統計學習方法》第二版的代碼實現
nndl/nndl.github.io 《神經網絡與深度學習》 邱錫鵬著
datawhalechina/leedl-tutorial 《李宏毅深度學習教程》，PDF下載
mml-book/mml-book.github.io 《機器學習數學》一書的配套網頁
roatienza/Deep-Learning-Experiments 了解深度學習的視頻、筆記和實驗
AMAI-GmbH/AI-Expert-Roadmap 2022年成為人工智能專家的路線圖
FavioVazquez/ds-cheatsheets 統治世界的數據科學備忘單列表
yunjey/pytorch-tutorial 深度學習研究人員的PyTorch 教程
Hvass-Labs/TensorFlow-Tutorials 帶有YouTube 視頻的TensorFlow 教程
datastacktv/data-engineer-roadmap 2021 年成為數據工程師的路線圖
microsoft/Data-Science-For-Beginners 10 週20 節課，全民數據科學！
lazyprogrammer/machine_learning_examples 機器學習示例和教程的集合。
Mikoto10032/DeepLearning 深度學習入門教程, 優秀文章
MorvanZhou/tutorials 莫煩Python 機器學習相關教程
chefyuan/algorithm-base 用動畫將算法說的通俗易懂
dair-ai/ML-Papers-Explained ML 中關鍵概念的解釋
MorvanZhou/tutorials 機器學習相關教程
apachecn/pytorch-doc-zh Pytorch 中文文檔
HIPS/autograd Autograd 可以自動區分原生Python 和Numpy 代碼。它可以處理Python 的大部分功能，包括循環、ifs、遞歸和閉包，甚至可以採用導數的導數的導數。它支持反向模式微分（又名反向傳播），這意味著它可以有效地採用關於數組值參數的標量值函數的梯度，以及正向模式微分，並且兩者可以任意組合。 Autograd 的主要預期應用是基於梯度的優化。假設您想為您的數據測試一個新的機器學習模型。這通常意味著提出一些損失函數來捕捉模型與數據的擬合程度，並根據模型參數優化該損失。如果有很多模型參數（神經網絡可以有數百萬個），那麼你需要梯度。然後，您有兩個選擇：自己派生和編碼它們，或者使用Theano 或TensorFlow 等系統的語法和語義約束來實現您的模型。我們想提供第三種方法：只需使用像Numpy 這樣的標準數值庫寫下損失函數，Autograd 就會給你它的梯度。如何使用Autograd？ Autograd 的grad 函數接受一個函數，並為您提供一個計算其導數的函數。您的函數必須具有標量值輸出（即float）。這涵蓋了您想要使用漸變來優化某些內容時的常見情況。 Autograd 適用於包含所有常用控制結構的普通Python 和Numpy 代碼，包括while 循環、if 語句和閉包。幕後發生了什麼？要計算梯度，Autograd 首先必須記錄在轉換為函數輸出時應用於輸入的每個轉換。為此，Autograd 包裝函數（使用函數原語），以便在調用它們時，它們會將自己添加到執行的操作列表中。 Autograd 的核心有一個表，將這些包裝的基元映射到它們相應的漸變函數（或者更準確地說，它們的向量雅可比乘積函數）。為了標記我們採用梯度的變量，我們使用Box 類包裝它們。您永遠不必考慮Box 類，但在打印調試信息時可能會注意到它。評估函數後，Autograd 有一個圖表，指定了對我們要區分的輸入執行的所有操作。這是函數計算的計算圖。為了計算導數，我們只需將微分規則應用於圖中的每個節點。反向模式微分：給定一個由多個嵌套函數調用組成的函數，有幾種方法可以計算其導數。例如，給定L（x） = F（G（H（x））），鍊式規則表示其梯度為dL/dx = dF/dG * dG/dH * dH/dx。如果我們從右到左評估這個乘積：（dF/dG * （dG/dH * dH/dx）），則執行與計算本身相同的順序，這稱為前向模式微分。如果我們從左到右評估這個乘積：（（dF/dG * dG/dH） * dH/dx），則計算本身的相反順序，這稱為逆模微分。與有限差分或正向模式相比，反向模式微分是迄今為止更實用的微分方法，用於區分採用大向量並輸出單個數字的函數。在機器學習社區中，逆模微分被稱為“反向傳播”，因為梯度通過函數向後傳播。這特別好，因為您不需要顯式實例化中間雅可比矩陣，而只依賴於應用一系列無矩陣向量雅可比乘積函數（VJP）。由於Autograd 也支持高等導數，因此也可以使用Hessian 向量積（二階導數的一種形式）並高效計算。如何支持ifs、while 循環和遞歸？某些autodiff 軟件包（例如TensorFlow）的工作原理是讓您指定函數執行的計算圖，包括所有控制流（例如if 和for 循環），然後將該圖轉換為另一個計算梯度的圖。這有一些好處（例如允許編譯時優化），但它需要你用這些包知道如何處理的有限迷你語言來表達控制流。 （例如，TensorFlow 中的tf.while 和tf.cond 操作）。相比之下，Autograd 不必知道用於決定調用哪些操作的任何if、分支、循環或遞歸。要計算特定輸入的梯度，只需知道哪些連續轉換應用於該特定輸入，而不需要知道可能已應用了哪些其他轉換。由於Autograd 會單獨跟踪每個函數調用的相關操作，因此所有Python 控制流操作對Autograd 不可見都不是問題。事實上，它大大簡化了實現。
chrisstroemel/Simple Simple(x) 是一種比貝葉斯優化更可擴展的全局優化算法。與貝葉斯優化一樣，它具有很高的樣本效率，能夠在盡可能少的樣本中收斂到全局最優解。與貝葉斯優化不同的是，它的運行時間複雜度為O(log(n))，而不是O(n^3)（或使用近似值時為O(n^2)），並且常數因子大約小三個數量級。 Simple 的運行時間性能，加上它在高維空間中優越的樣本效率，使該算法能夠輕鬆擴展到具有大量設計變量的問題。對於典型的優化工作負載，貝葉斯優化消耗的CPU 時間以分鐘為單位，而Simple 使用的CPU 時間以毫秒為單位。 Simple 通過構建目標函數行為的內部代理模型來工作。該算法從代理模型預測具有高目標值和大量信息增益的點進行採樣，以在未來的迭代中做出更準確的預測。 Simple 通過將優化域分解成一組相互獨立的離散局部插值來構建其代理模型。每個局部插值都採用單純形的形式，單純形是三角形幾何概念在更高維度的數學術語。通過測試每個單純形內部的一個點，該算法可以將父插值分解成dim+1 個更小、更準確的子插值。 Simple 通過將全局優化問題轉化為動態規劃問題，實現了比貝葉斯優化快得多的速度。由於每個插值都基於純粹的局部信息，因此可以對單個樣本進行採樣，而無需重新計算整個搜索空間的更新代理模型。在每一步中，Simple 從其優先隊列中獲取具有最高獲取函數值（最高組合插值值和信息增益）的局部插值，並在該插值的測試點處評估目標函數。然後，該算法使用新的樣本信息將父插值細分為更小的子插值，並將其添加回優先隊列。每個單純形都有一個候選測試位置，該位置由幾何確定，以幫助保證收斂並抑制創建精度較低的高縱橫比插值。更詳細地說，獲取函數由acquisition = interpolated_value + exploration_preference* opportunity_cost 給出。探索偏好是一個可調超參數，用於告知算法應該給予探索優化域多少重要性，而不是追求exploitation。
tensorflow/neural-structured-learning TensorFlow神經結構化學習(NSL) 是一個新的學習範式，通過利用結構化信號來訓練神經網絡，除了特徵輸入之外。結構可以是顯式的，如由圖表示[1,2,5]，也可以是隱式的，如由對抗性擾動誘導[3,4]。結構化信號通常用於表示樣本之間的關係或相似性，這些樣本可能是標記的或未標記的。在神經網絡訓練期間利用這些信號可以利用標記和未標記數據，從而提高模型精度，尤其是在標記數據量相對較少的情況下。此外，使用對抗性擾動生成的樣本訓練的模型已被證明對惡意攻擊具有魯棒性，這些攻擊旨在誤導模型的預測或分類。 NSL 泛化到神經圖學習[1] 以及對抗性學習[3]。 TensorFlow 中的NSL 框架為開發人員提供以下易於使用的API 和工具，用於使用結構化信號訓練模型：* Keras API，用於啟用使用圖（顯式結構）和對抗性擾動（隱式結構）的訓練。 * TF 操作和函數，用於在使用較低級別TensorFlow API 時啟用使用結構的訓練。 * 工具，用於構建圖並構建用於訓練的圖輸入。 NSL 框架設計靈活，可用於訓練任何類型的神經網絡。例如，前饋、卷積和循環神經網絡都可以使用NSL 框架進行訓練。除了監督學習和半監督學習（少量監督）之外，NSL 理論上可以推廣到無監督學習。僅在訓練期間合併結構化信號，因此服務/推理工作流的性能保持不變。請查看我們的教程以了解NSL 的實際介紹。
jmschrei/pomegranate Pomegranate是一個Python 庫，用於概率建模，它以其模塊化實現和將所有模型視為概率分佈的特點而著稱。模塊化實現允許用戶輕鬆地將正態分佈放入混合模型中以創建高斯混合模型，就像將伽馬分佈和泊松分佈放入混合模型中以創建異構混合模型一樣。此外，由於每個模型都被視為概率分佈，貝葉斯網絡可以像正態分佈一樣輕鬆地放入混合模型中，而隱馬爾可夫模型可以放入貝葉斯分類器中以創建序列分類器。這兩種設計選擇共同實現了其他任何概率建模包都無法比擬的靈活性。最近，Pomegranate (v1.0.0)使用PyTorch 進行了重寫，以替換過時的Cython 後端。這次重寫讓我有機會修復我在作為一名軟件工程師時所做的一些糟糕的設計選擇。不幸的是，許多更改不向後兼容，會破壞工作流程。另一方面，這些更改顯著加快了大多數方法，改進和簡化了代碼，修復了多年來社區提出的許多問題，並使貢獻變得更加容易。我將在下面詳細說明，但您現在可能來這裡是因為您的代碼已損壞，這是簡短的說明。 Pomegranate 支持使用pip install pomegranate進行安裝，如果需要重寫之前的Cython 版本，可以使用pip install pomegranate==0.14.8 。您可能需要手動安裝v3 之前的Cython 版本。重寫的動機主要有四個：速度、功能、社區貢獻和互操作性。
facebookexperimental/Robyn Robyn 是來自Meta Marketing Science 的一個實驗性的、由AI/ML 支持的開源營銷組合建模(MMM) 包。我們的使命是使建模知識民主化，通過創新激勵行業，減少建模過程中的人為偏見並建立強大的開源營銷科學社區。羅賓是什麼？ ：Robyn 是來自Meta Marketing Science 的實驗性、半自動化和開源營銷組合建模(MMM) 軟件包。它使用各種機器學習技術（嶺回歸、用於超參數優化的多目標進化算法、趨勢和季節的時間序列分解、基於梯度的預算分配優化、聚類等）來定義媒體渠道效率和有效性，探索adstock 費率和飽和曲線。它是為具有許多自變量的精細數據集而構建的，因此特別適合具有豐富數據源的數字和直接響應廣告商。我們為什麼要這樣做？ ：MMM曾經是一種資源密集型技術，只有“大玩家”才能負擔得起。隨著測量領域隱私需求的發展，對現代MMM 作為隱私安全解決方案的需求明顯增加。在Meta Marketing Science，我們的使命是通過轉變基於數據和科學的營銷實踐來幫助所有企業發展。它與我們的使命高度一致，即使MMM 民主化並讓各種規模的廣告商都可以使用它。通過Robyn 項目，我們希望為測量領域做出貢獻，激勵行業，並圍繞MMM 和營銷科學的未來建立一個交流和創新的社區。
zenml-io/zenml 構建可移植、生產就緒的MLOps 管道。 ZenML 是一個MLOps 框架，適用於希望標準化機器學習實踐的數據科學家或ML 工程師。只需將@step和@pipeline添加到現有的Python 函數中即可開始使用。輕鬆預配MLOps 堆棧或重用現有基礎架構：該框架是從業者構建複雜ML 管道的溫和切入點，幾乎不需要了解底層基礎設施的複雜性。 ZenML 管道可以在AWS、GCP、Azure、Airflow、Kubeflow 甚至Kubernetes 上運行，而無需更改任何代碼或了解底層內部結構。 ZenML提供了不同的功能，可以幫助人們在遠程環境中快速上手。如果要在所選雲提供商上從頭開始部署遠程堆棧，可以通過儀表板使用一鍵式部署功能。在生產基礎架構上輕鬆運行工作負載：配置MLOps 堆棧後，可以輕鬆地在其上運行工作負載；跟踪模型、管道和工件：創建生成人員、地點以及生成數據和模型的完整譜系，您將能夠找出誰在什麼時間生成了哪個模型，使用哪些數據以及代碼的哪個版本。這保證了完全的可重複性和可審計性。專為機器學習而構建，可集成到您喜愛的工具中：雖然ZenML 帶來了很多盒子的價值，但它也可以集成到您現有的工具和基礎設施中，而您不必被鎖定。
reservoirpy/reservoirpy ReservoirPy是一個簡單易用的Python庫，用於實現高效的儲層計算（RC）架構，特別是迴聲狀態網絡（ESN）。它提供靈活的接口，支持離線和在線訓練、並行實現、稀疏矩陣計算、快速譜初始化和高級學習規則等功能。用戶可以輕鬆創建包含多個儲層、讀出和復雜反饋迴路的複雜架構。該庫還包含圖形工具，可以幫助用戶使用hyperopt庫探索超參數。此外，它還包含多個教程，介紹了奇特的架構和科學論文的複現示例。該庫適用於Python 3.8及更高版本。水庫計算(Reservoir computing)是一種從循環神經網絡理論中衍生出的計算框架，通過一個稱為水庫的固定非線性系統的動力學，將輸入信號映射到更高維的計算空間。在將輸入信號輸入到被視為“黑盒”的水庫後，訓練一個簡單的讀取機制來讀取水庫的狀態並將其映射到所需的輸出。這個框架的第一個關鍵優勢是，訓練僅在讀取階段進行，因為水庫的動力學是固定的。第二個優勢是，可以使用自然存在的系統（包括經典和量子力學系統）的計算能力來降低有效的計算成本。
replicate/cog Cog 是一個開源工具，可讓您將機器學習模型打包到標準的生產就緒容器中。特色：Docker 容器沒有痛苦，編寫自己的Dockerfile 可能是一個令人困惑的過程，使用Cog，您可以使用一個簡單的配置文件來定義您的環境，它會生成一個包含所有最佳實踐的Docker 鏡像：Nvidia 基礎鏡像、依賴項的高效緩存、安裝特定的Python 版本、合理的環境變量默認值等。不再有CUDA 地獄，Cog 知道哪些CUDA/cuDNN/PyTorch/Tensorflow/Python 組合是兼容的，並會為您正確設置。使用標準Python 定義模型的輸入和輸出，Cog 生成一個OpenAPI 架構，並使用Pydantic 驗證輸入和輸出。自動HTTP 預測服務器：您的模型類型用於使用FastAPI 動態生成RESTful HTTP API。自動隊列工作程序，長時間運行的深度學習模型或批處理最好使用隊列進行架構，Cog 模型開箱即用。 Redis 目前受支持，更多支持正在開發中。雲存儲，文件可以直接讀取和寫入Amazon S3 和Google Cloud Storage。為生產做好準備，將模型部署到運行Docker 映像的任何位置。您自己的基礎設施或Replicate。
arrayfire/arrayfire ArrayFire是一個通用張量庫，簡化了針對CPU、GPU和其他硬件加速設備的並行架構的軟件開發過程。它提供數百種加速的張量計算函數，涵蓋數組處理、計算機視覺、圖像處理、線性代數、機器學習、標準數學、信號處理、統計和向量算法等領域。 ArrayFire擁有易於使用、穩定且文檔齊全的API，並通過嚴格的基準測試和測試確保最佳性能和數值精度。它支持CUDA、oneAPI、OpenCL和原生CPU，可在Windows、Mac和Linux上運行。 ArrayFire還內置了通過Forge實現的可視化功能，並提供商業友好的開源許可和企業支持。 ArrayFire通過af::array對象提供對加速器上數據的抽象，開發者編寫對ArrayFire數組進行操作的代碼，這些代碼會自動轉換為在計算設備上執行的近乎最佳的內核。 ArrayFire可在從低功耗移動電話到高性能GPU支持超級計算機的各種設備上運行。它支持來自所有主要供應商（英特爾、AMD、ARM）的CPU，來自主要製造商（AMD、英特爾、英偉達和高通）的GPU，以及Windows、Mac和Linux上的各種其他加速器設備。
modelscope/modelscope ModelScope 建立在“模型即服務”（MaaS） 的概念之上。它旨在匯集來自人工智能社區的最先進的機器學習模型，並簡化在實際應用中利用人工智能模型的過程。此存儲庫中開源的核心ModelScope 庫提供了允許開發人員執行模型推理、訓練和評估的接口和實現。特別是，ModelScope 庫具有豐富的API 抽象層，可提供統一的體驗，以探索跨CV、NLP、語音、多模態和科學計算等領域的最先進模型。不同領域的模型貢獻者可以通過分層API 將模型集成到ModelScope 生態系統中，從而輕鬆統一地訪問他們的模型。集成後，只需幾行代碼即可完成模型推理、微調和評估。同時，還提供了靈活性，以便在必要時可以定制模型應用程序中的不同組件。除了包含各種不同模型的實現外，ModelScope 庫還支持與ModelScope 後端服務進行必要的交互，尤其是與Model-Hub 和Dataset-Hub 的交互。這種交互有助於在後台無縫執行各種實體（模型和數據集）的管理，包括實體查找、版本控制、緩存管理等。
deepchecks/deepchecks Deepchecks：用於持續驗證ML模型和數據的測試。 Deepchecks 是一個整體的開源解決方案，可滿足您所有的AI 和ML 驗證需求，能夠徹底測試您的數據和模型，從研究到生產。 Deepchecks 是一個全面的開源解決方案，可滿足您所有的AI 和ML 驗證需求，使您能夠徹底測試從研究到生產的數據和模型。 Deepchecks的核心包括各種內置檢查，用於測試所有類型的數據和模型相關問題。這些檢查針對各種模型和數據類型（表格、NLP、視覺）實現，並且可以輕鬆自定義和擴展。檢查結果可用於自動對模型的生產準備情況做出明智的決策，並在生產中隨時間推移對其進行監控。檢查結果可以通過可視化報告進行檢查（通過將它們保存到HTML 文件，或在Jupyter 中查看它們），使用代碼進行處理（使用其pythonic / json 輸出），並使用Deepchecks 的動態UI 進行檢查和協作（用於檢查測試結果和生產監控）。
ml-explore/mlx Apple 機器學習研究團隊推出的基於Apple 芯片的機器學習陣列框架。主要功能包括：熟悉的API：MLX 有一個緊跟NumPy 的Python API。 MLX 還有一個功能齊全的C++ API，它與Python API 非常相似。 MLX 具有更高級別的包，例如API mlx.optimizers ，這些包與PyTorch 密切相關， mlx.nn 以簡化構建更複雜的模型。可組合函數變換：MLX支持可組合函數變換，實現自動微分、自動矢量化、計算圖優化等功能。延遲計算：MLX 中的計算是延遲的。數組僅在需要時具體化。動態圖構建：MLX中的計算圖是動態構建的。更改函數參數的形狀不會觸發緩慢的編譯，並且調試簡單直觀。多設備：操作可以在任何受支持的設備（當前為CPU 和GPU）上運行。統一內存：與MLX 和其他框架的顯著區別是統一內存模型。 MLX 中的數組位於共享內存中。可以在任何受支持的設備類型上執行對MLX 陣列的操作，而無需傳輸數據。
feast-dev/feast 用於機器學習的開源功能存儲。 Feast 是管理現有基礎設施的最快途徑，用於生產用於模型訓練和在線推理的分析數據。通過管理離線存儲（用於處理用於橫向擴展批量評分或模型訓練的歷史數據）、低延遲在線存儲（支持實時預測）和經過實戰測試的功能服務器（用於在線提供預先計算的功能），使功能始終可用於訓練和服務。通過生成時間點正確的特徵集來避免數據洩露，以便數據科學家可以專注於特徵工程，而不是調試容易出錯的數據集連接邏輯，這可確保將來的特徵值不會在訓練期間洩漏到模型中。通過提供單個數據訪問層將特徵存儲從特徵檢索中抽像出來，將ML 與數據基礎架構分離，確保模型在從訓練模型遷移到服務模型、從批處理模型遷移到實時模型以及從一個數據基礎設施系統遷移到另一個數據基礎設施時保持可移植性。
nextflow-io/nextflow Nextflow是一個用於創建可擴展、可移植和可重複工作流程的系統，它基於數據流編程模型，簡化了並行和分佈式管道的編寫，使您專注於數據和計算流程。 Nextflow可以在多種執行平台上部署工作流程，包括本地機器、HPC調度器、AWS Batch、Azure Batch、Google Cloud Batch和Kubernetes。此外，它支持多種管理軟件依賴項的方式，包括Conda、Spack、Docker、Podman、Singularity等。您可以通過單個命令安裝Nextflow，並從Bioconda安裝它。 Nextflow的文檔可在最新穩定版和邊緣版中獲取。您可以在Nextflow社區論壇或Nextflow Slack中提問並獲得幫助，並通過GitHub問題報告錯誤和功能請求。 Nextflow社區非常活躍，定期舉辦社區會議、活動、播客等。您可以在Nextflow和nf-core的YouTube頻道上查看大部分內容。 nf-core項目是一個社區努力，匯集了高質量的Nextflow工作流程，供所有人使用。
IDSIA/sacred Sacred 是一個幫助您配置、組織、記錄和重現實驗的工具。它旨在完成您在實際實驗中需要完成的所有繁瑣的日常工作，以便：跟踪實驗的所有參數，輕鬆運行不同設置的實驗，將各個運行的配置保存在數據庫中。重現你的結果，Sacred 通過以下主要機制實現這一目標：配置範圍函數中局部變量的一種非常方便的方法來定義實驗使用的參數；配置注入：您可以從每個函數訪問配置的所有參數。它們是按名稱自動注入的；命令行界面：每個實驗都有一個強大的命令行界面，可用於更改參數並運行不同的變體；觀察者：Sacred 提供了觀察者來記錄有關您的實驗、其依賴項、您使用的配置、運行的機器，當然還有結果的各種信息；這些可以保存到MongoDB，以便以後輕鬆訪問；自動播種有助於控制實驗中的隨機性，從而使結果保持可重複性。
rusty1s/pytorch_scatter PyTorchScatter 是一個PyTorch 擴展庫，提供高度優化的稀疏更新（散射和分割）操作，彌補了PyTorch 主庫的不足。它基於給定的“分組索引”張量實現類似於歸約操作的散射和分割操作，其中分割操作要求“分組索引”張量已排序，而散射操作則沒有此要求。該庫包含基於任意索引的散射、基於排序索引的segment_coo 和基於壓縮索引的segment_csr 等操作，並提供sum、mean、min、max 等多種歸約類型。此外，它還提供scatter_std、scatter_logsumexp、scatter_softmax 和scatter_log_softmax 等複合函數，這些函數利用scatter_* 操作。所有操作都可廣播，支持各種數據類型，並在CPU 和GPU 上實現，並提供相應的反向傳播實現，且完全可追踪。該庫可以通過Anaconda 或pip 安裝，並提供適用於各種操作系統、PyTorch 和CUDA 版本的二進製文件。
Thinklab-SJTU/awesome-ml4co 用於組合優化論文的出色機器學習資源。包括圖論問題: 圖形匹配、旅行商問題、最大獨立集、哈密頓循環問題、圖著色、最大公共子圖等。這類問題通常涉及到圖的結構和性質，尋找圖中的最優解。組合優化問題: 背包問題、車輛路徑問題、作業車間調度問題、設施位置問題等。這類問題主要涉及到離散變量的優化，尋找滿足約束條件下的最優組合。整數規劃問題: 混合整數規劃問題。這類問題是組合優化問題的一種特殊形式，變量取值為整數。其他問題: 投資組合優化、影響力最大化、因果發現、博弈論語義、可微優化、電子設計自動化、虛擬網絡嵌入、預測+優化、最佳功率流、排序和排名、組合藥物推薦、隨機組合優化等。這些問題涉及到更廣泛的領域，如機器學習、人工智能、經濟學等。
scikit-learn-contrib/DESlib DESlib是一個易於使用的集成學習庫，專注於實現最先進的動態分類器和集成選擇技術。該庫基於scikit-learn，使用相同的函數簽名：fit、predict、predict_proba和score。所有動態選擇技術都是根據[1]中的定義實現的。動態選擇（DS）指的是在測試時根據每個新樣本動態選擇基礎分類器的方法。只有最稱職的分類器或最稱職的分類器集合被選中來預測特定測試樣本的標籤。這些技術的原理是，池中的每個分類器都不是所有未知樣本的專家，而是每個基礎分類器都是特徵空間不同局部區域的專家。 DS是多分類器系統（MCS）中最有希望的方法之一，因為越來越多的實證研究表明，與靜態組合方法相比，它具有更好的性能。這些技術在處理小尺寸和不平衡數據集時，尤其能獲得更好的分類性能。
smarco/WFA2-lib WFA2-lib 是一個實現Wavefront Alignment (WFA) 算法的庫，該算法是一種精確的gap-affine 對齊算法，通過利用序列之間的同源區域來加速對齊過程。與傳統的動態規划算法相比，WFA 的時間複雜度為O(ns+s^2) ，其中n是序列長度， s是對齊得分，內存使用量為O(s^2) (或使用ultralow/BiWFA 模式時為O(s) )。 WFA2-lib 支持多種距離函數(如indel、edit、gap-linear、gap-affine 和dual-gap gap-affine)，並允許計算得分或完整對齊(CIGAR)。此外，它還支持全局對齊和自由端對齊(包括半全局、glocal 和擴展對齊)，並提供低內存模式以減少內存使用。除了精確對齊模式，WFA2-lib 還實現了啟發式模式以加速對齊計算。該庫還提供許多其他支持函數，用於顯示和驗證對齊結果，控制內存使用等。
skypilot-org/skypilot SkyPilot：在任何基礎設施（Kubernetes 或12+ 雲）上運行AI 和批處理作業。通過簡單的界面實現統一執行、成本節約和高可用性。 SkyPilot 消除了基礎設施負擔：在任何基礎設施上啟動開發集群、作業和服務；輕鬆的作業管理：對許多作業進行排隊、運行和自動恢復。 SkyPilot 支持多個集群、雲和硬件（Sky）：帶上您的預留GPU、Kubernetes 集群或12+ 雲，靈活預置GPU、TPU、CPU，具有自動重試功能。 SkyPilot降低您的云成本並最大化GPU可用性：Autostop：自動清理空閒資源；託管Spot：使用Spot 實例節省3-6 倍的成本，並具有搶占自動恢復功能；優化器：通過自動選擇最便宜和最可用的基礎設施，節省2倍的成本。 SkyPilot 支持您現有的GPU、TPU 和CPU 工作負載，無需更改代碼。
feathr-ai/feathr Feathr是一個可擴展的統一數據和AI 工程平台，在LinkedIn 生產環境中應用多年，於2022 年開源。它允許用戶使用Pythonic API定義數據和特徵轉換，並註冊轉換以便在AI 建模、合規性、市場營銷等各種用例中獲取轉換後的數據（特徵）。 Feathr 尤其適用於AI 建模，它能自動計算特徵轉換並將其加入訓練數據，使用時間點正確語義避免數據洩露，並支持物化和部署特徵以供在線生產使用。 Feathr 具有云原生集成、可擴展的架構、豐富的轉換API、Pythonic API 和高度可定制的用戶定義函數(UDF) 等特點，並支持PySpark和Spark SQL，降低了數據科學家的學習曲線。 Feathr 內置的註冊表使命名轉換和數據/特徵重用變得輕而易舉。可以通過Feathr Sandbox 輕鬆體驗Feathr 的功能。
PAIR-code/lit LIT(Learning Interpretability Tool) 是一個可視化、交互式的機器學習模型理解工具，支持文本、圖像和表格數據。它可以作為獨立服務器運行，也可以在Colab、Jupyter 和Google Cloud Vertex AI 筆記本等筆記本環境中運行。 LIT 旨在回答諸如“我的模型在哪些類型的示例上表現不佳？”、“為什麼我的模型做出這個預測？”、“如果我改變文本風格、動詞時態或代詞性別，我的模型是否會保持一致？”等問題。 LIT 通過基於瀏覽器的UI 支持各種調試工作流程，包括局部解釋、聚合分析、反事實生成、並排模式和高度可擴展性。它與TensorFlow、PyTorch 等框架無關。 LIT 擁有一個網站，其中包含實時演示、教程、設置指南等。可以通過pip 或從源代碼構建來安裝LIT。
flashlight/flashlight Flashlight是一個完全用C++ 編寫的快速、靈活的機器學習庫，由Facebook AI Research 和Torch、TensorFlow、Eigen 和Deep Speech 的創建者開發。其核心特性包括：完全可修改性（包括用於張量計算的內部API）、小巧的佔地面積（核心代碼不到10MB，20k 行C++ 代碼）、高性能默認設置（通過ArrayFire 張量庫使用現代C++ 進行即時內核編譯）、注重效率和可擴展性。 Flashlight 在C++ 中提供原生支持，並易於擴展，使其成為一個強大的研究框架，能夠在新的實驗設置和算法上快速迭代，同時保持性能。在一個代碼庫中，Flashlight 提供了用於跨多個領域進行研究的應用程序，例如：自動語音識別（以前稱為wav2letter 項目）、圖像分類、目標檢測、語言建模。
facebookresearch/CrypTen CrypTen是一個基於PyTorch 的隱私保護機器學習框架，旨在讓安全計算技術更易於被機器學習從業者使用。它使用安全多方計算(MPC) 作為安全計算後端，為ML 研究人員提供三個主要優勢：1. 以機器學習為先，通過CrypTensor對象提供協議，該對象與PyTorch 的Tensor具有相同的行為，允許用戶使用自動微分和神經網絡模塊。 2. 基於庫，與PyTorch 一樣實現了一個張量庫，使從業者更容易調試、實驗和探索ML 模型。 3. 框架考慮了現實世界的挑戰，沒有簡化安全協議的實現。 CrypTen 目前運行在Linux 和Mac 上，支持Python 3.7 和GPU 計算，但不支持Windows。該項目提供了多個示例，包括線性SVM、LeNet、TFE 基準測試、Bandit 和ImageNet，涵蓋了各種模型。
jeshraghian/snntorch snntorch是一個基於PyTorch的Python包，用於使用脈衝神經網絡進行基於梯度的學習。它擴展了PyTorch的功能，利用其GPU加速的張量計算，並將其應用於脈衝神經元網絡。預先設計的脈衝神經元模型與PyTorch框架無縫集成，可以作為循環激活單元進行處理。 snntorch包含一個脈衝神經元庫、一個用於脈衝生成和數據轉換的庫、一個用於可視化基於脈衝數據的工具庫、一個用於可選代理梯度函數的庫，以及一個數據集實用程序函數庫。 snntorch旨在與PyTorch直觀地使用，就好像每個脈衝神經元只是一個層序列中的另一個激活一樣。因此，它與全連接層、卷積層、殘差連接等無關。目前，神經元模型由遞歸函數表示，這消除了存儲膜電位的需要。
explainX/explainx explainX是一個面向數據科學家和商業用戶的模型可解釋性/可理解性框架，它可以幫助用戶通過一行代碼來解釋和調試任何黑盒機器學習模型。 explainX 可以幫助用戶理解模型的整體行為，解釋模型預測背後的原因，消除數據偏差，並為商業利益相關者創建令人信服的解釋。用戶可以通過explainX 回答諸如“為什麼我的模型犯了錯誤？”、“我的模型有偏差嗎？如果有，在哪裡？”、“如何理解和信任模型的決策？”、“我的模型是否滿足法律和監管要求？”等問題。 explainX 提供了一個完整的可解釋性儀表板，包含所有可解釋性技術，用戶也可以單獨訪問這些技術。該項目正在尋找合作者，感興趣的可以聯繫[email protected]。
MegEngine/MegEngine MegEngine 是一個快速、可拓展、易於使用且支持自動求導的深度學習框架。 MegEngine 是一個快速、可擴展且用戶友好的深度學習框架，具有3 個關鍵功能。訓練和推理的統一框架；量化、動態形狀/圖像預處理，甚至使用單個模型進行推導；訓練後，將所有內容放入模型中，以便在任何平台上快速、精確地進行推理。最低的硬件要求，啟用DTR算法後，GPU的內存使用量可以減少到原來內存使用量的三分之一，利用我們的下推內存規劃器實現內存使用率最低的推理模型。在所有平台上高效推理，在x86、Arm、CUDA 和RoCM 上進行快速且高精度的推理。支持Linux、Windows、iOS、Android、TEE等。利用我們的高級功能優化性能和內存使用。
dssg/aequitas Aequitas是一個開源的偏差審計和公平機器學習工具包，專為數據科學家、機器學習研究人員和政策制定者設計。它提供了一個易於使用且透明的工具，用於審計機器學習模型的預測，以及在二元分類設置中使用公平機器學習方法來嘗試“糾正有偏差的模型”。該項目還提供詳細的教程和相關出版物，幫助用戶了解如何在人工智能/機器學習系統中處理偏差和公平問題。 Aequitas 1.0.0 版本引入了Aequitas Flow，它將偏差審計與偏差緩解相結合，並通過新的簡化功能增強了公平機器學習方法的實驗。用戶可以使用示例筆記本進行模型審計、模型預測糾正、公平機器學習實驗，以及將自定義方法添加到Aequitas Flow 工具包。
tensorflow/compression TensorFlow Compression(TFC) 是一個TensorFlow 庫，提供數據壓縮工具，用於構建包含端到端優化數據壓縮的機器學習模型。它可以幫助您找到數據的存儲效率表示（圖像、特徵、示例等），同時僅犧牲一小部分模型性能。該庫包含C++ 編寫的靈活TF 操作形式的範圍編碼（也稱為算術編碼）實現，熵模型類，以及其他TensorFlow 函數和Keras 層，這些函數和層在學習數據壓縮的背景下很有用。 TFC 現已進入維護模式，這意味著功能集已固定，但將繼續維護修復。從TensorFlow 2.15 開始，TFC 包將不再與Keras 兼容，因此發布了一個新的包tensorflow-compression-ops ，其中只包含C++ 操作，並將在未來更新以支持更新的TensorFlow 版本。
cornellius-gp/gpytorch GPyTorch是一個基於PyTorch 的高性能高斯過程庫，旨在簡化可擴展、靈活和模塊化高斯過程模型的創建。 GPyTorch採用數值線性代數技術（如預處理共軛梯度法）進行推斷，與許多現有方法不同。通過提供內核矩陣及其導數的矩陣乘法例程，或通過組合已有的LinearOperators ，可以輕鬆實現可擴展的GP 方法。這不僅簡化了流行的可擴展GP 技術的實現，而且與基於Cholesky 分解的求解器相比，通常可以顯著提高GPU 計算的利用率。 GPyTorch 提供了顯著的GPU 加速（通過基於MVM 的推斷）、最先進的算法實現（如SKI/KISS-GP、隨機Lanczos 展開、LOVE、SKIP、隨機變分、深度內核學習等）以及與深度學習框架的輕鬆集成。
google/differential-privacy Google的差分隱私庫，提供了一系列工具用於生成ε- 和(ε, δ)- 差分隱私統計數據，包括：Privacy on Beam（基於Apache Beam的端到端差分隱私框架）、PipelineDP4j（針對JVM 語言的端到端差分隱私框架）、C++、Go 和Java的差分隱私構建塊庫（實現基本噪聲添加原語和差分隱私聚合）、隨機測試器、差分隱私會計庫、用於運行差分隱私SQL 查詢的命令行界面以及用於審核差分隱私保證的DP Auditorium 庫。該庫支持多種算法，包括拉普拉斯機制、高斯機制、計數、求和、平均值、方差、標準差、分位數、自動邊界近似、截斷幾何閾值、拉普拉斯閾值、高斯閾值和預閾值。該庫適用於研究、實驗或生產用例。
huggingface/evaluate ? Evaluate是一個用於輕鬆評估機器學習模型和數據集的庫，它包含數十種流行指標的實現，涵蓋從NLP 到計算機視覺的各種任務，並提供數據集特定的指標。用戶可以使用簡單的命令（如accuracy = load("accuracy") ）加載任何指標，並將其用於評估任何框架（Numpy/Pandas/PyTorch/TensorFlow/JAX）中的ML 模型。 Evaluate 還提供模型比較和數據集評估工具，以及一個簡單的方法來將新的評估模塊添加到? Hub。每個指標都附帶一個卡片，描述其值、限制和範圍，並提供使用和用途的示例。用戶可以輕鬆地添加自己的指標，並與他人協作。 Evaluate 可以通過pip 安裝，並提供類型檢查、社區指標等功能。
pymc-devs/pymc PyMC是一個用於貝葉斯統計建模的Python 包，專注於先進的馬爾可夫鏈蒙特卡羅(MCMC) 和變分推斷(VI) 算法。其靈活性和可擴展性使其適用於各種問題。它提供直觀的模型規範語法，例如x ~ N(0,1) ，並支持強大的採樣算法，如No U-Turn Sampler，允許對具有數千個參數的複雜模型進行建模。 PyMC 還支持變分推斷，包括ADVI 和mini-batch ADVI，用於快速近似後驗估計。它依賴於PyTensor，提供計算優化、動態C 或JAX 編譯、NumPy廣播和高級索引以及線性代數運算符。 PyMC 還透明地支持缺失值插補。例如，可以使用PyMC 建立線性回歸模型，以預測植物生長與陽光照射時間、澆水量和土壤氮含量之間的關係。
PAIR-code/what-if-tool What-If Tool(WIT) 是一個用於深入理解黑盒分類或回歸機器學習模型的工具，它提供了一個易於使用的界面，可以對大量示例進行推理並以多種方式可視化結果。用戶可以手動或以編程方式編輯示例，並重新運行模型以查看更改帶來的結果。 WIT 還包含用於調查模型性能和公平性的工具，並能夠在數據集子集上進行分析。 WIT 的目標是為用戶提供一個簡單、直觀且強大的方式，讓他們無需編寫任何代碼即可通過可視化界面與訓練好的機器學習模型進行交互。 WIT 可以通過TensorBoard 訪問，也可以作為Jupyter 或Colab 筆記本的擴展使用。該項目提供了一系列Web 和Colab 演示，用戶可以輕鬆上手體驗。
Trusted-AI/AIF360 AI Fairness 360 (AIF360) 是一個開源工具包，包含了用於檢測和減輕機器學習模型中偏差的技術。它提供了一套全面的數據集和模型公平性指標，以及用於解釋這些指標和減輕數據集和模型偏差的算法。 AIF360 支持多種偏差緩解算法，包括優化預處理、差異影響消除器、均衡機率後處理、重新加權、拒絕選項分類、偏見消除正則化、校準均衡機率後處理、學習公平表示、對抗性去偏、公平分類元算法、豐富子組公平性、指數梯度減少、網格搜索減少、公平數據自適應等。該工具包可在Python 和R中使用，並提供交互式體驗、教程和完整API 文檔，旨在將算法研究從實驗室轉化到現實應用中。
xenova/transformers.js 最先進的Web 機器學習。直接在瀏覽器中運行?Transformers，無需服務器！ 被設計為在功能上等同於Hugging Face 的transformers python 庫，這意味著您可以使用非常相似的API 運行相同的預訓練模型。這些模型支持不同模式的常見任務，例如：自然語言處理：文本分類、命名實體識別、問答、語言建模、摘要、翻譯、多項選擇和文本生成。計算機視覺：圖像分類、物體檢測和分割。音頻：自動語音識別和音頻分類。多模態：零樣本圖像分類。 Transformers.js使用ONNX 運行時在瀏覽器中運行模型。最好的部分是，您可以使用? Optimum 輕鬆地將預訓練的PyTorch、TensorFlow 或JAX 模型轉換為ONNX。
tensorflow/transform TensorFlow Transform(TFT) 是一個用於使用TensorFlow 預處理數據的庫。它適用於需要完整數據遍歷的預處理任務，例如：使用均值和標準差對輸入值進行歸一化，通過生成所有輸入值的詞彙表將字符串轉換為整數，根據觀察到的數據分佈將浮點數分配到桶中。 TFT 擴展了TensorFlow 對單個示例或示例批次的處理能力，支持對示例數據進行完整遍歷。 TFT 的輸出以TensorFlow 圖的形式導出，用於訓練和服務。使用相同的圖進行訓練和服務可以防止數據偏差，因為兩個階段都應用了相同的轉換。 TFT 需要TensorFlow、Apache Beam 和Apache Arrow。它支持本地模式和分佈式模式，例如使用Google Cloud Dataflow。
jupyter/docker-stacks Jupyter Docker Stacks提供了一系列預構建的Docker 鏡像，包含Jupyter 應用和交互式計算工具，方便用戶快速啟動Jupyter Server、JupyterHub 以及其他Jupyter 應用。用戶可以使用這些鏡像輕鬆地創建個人Jupyter Server、團隊JupyterHub 或自定義項目Dockerfile。該項目提供多種鏡像，例如jupyter/scipy-notebook和jupyter/datascience-notebook ，用戶可以通過簡單的Docker 命令啟動這些鏡像，並通過瀏覽器訪問JupyterLab。此外，用戶還可以使用-v選項將本地目錄掛載到容器中，方便進行數據訪問和項目開發。該項目文檔詳細介紹了各種鏡像、使用方法和功能，用戶可以參考文檔進行更深入的了解。
google-research/rliable rliable是一個開源Python 庫，用於在強化學習和機器學習基準測試中進行可靠的評估，即使只有少量運行也能做到。它使用分層引導置信區間來解決性能評估中的不確定性問題，並通過性能概況來展示不同任務和運行之間的性能差異，而不是僅僅使用表格形式的平均分數。 rliable 還提供了諸如跨所有運行的四分位數均值(IQM) 等聚合指標，以更全面地評估基準測試性能。該庫還包含一個交互式Colab 筆記本，展示瞭如何使用rliable，並提供了在Atari 100k、ALE、DM Control 和Procgen 等廣泛使用的基準測試上對已發表算法的示例。 rliable 的相關論文獲得了NeurIPS 2021 的傑出論文獎。
oegedijk/explainerdashboard ExplainerDashboard是一個Python庫，可以快速構建可解釋的AI儀表板，以展示所謂的“黑盒”機器學習模型的內部工作原理。它提供交互式圖表，展示模型性能、特徵重要性、特徵對單個預測的貢獻、“如果”分析、偏依賴圖、SHAP（交互）值、單個決策樹的可視化等。用戶可以在筆記本/colab環境中交互式地探索儀表板的組件，或設計具有自定義佈局和解釋的儀表板。儀表板可以從運行的儀表板直接導出到靜態html，或作為自動化CI/CD部署過程的一部分以工件的形式進行編程導出。該庫支持scikit-learn、xgboost、catboost、lightgbm和skorch（用於表格PyTorch模型的sklearn包裝器）等庫。
tensorflow/fairness-indicators Tensorflow's Fairness Indicators是一個用於評估、改進和比較模型公平性的工具包，它與Tensorflow工具包協同工作。該工具包能夠計算二元和多分類模型的常見公平性指標，並支持對大型數據集和模型進行評估。它可以評估數據集的分佈，以及模型在不同用戶群中的表現，並提供置信區間和多閾值評估。此外，它還允許深入分析單個切片，以探索根本原因並尋找改進機會。該工具包包含Tensorflow Data Validation (TFDV)用於分析數據集分佈，Tensorflow Model Analysis (TFMA)用於分析模型性能，以及Fairness Indicators用於添加公平性指標和跨切片比較性能。它還提供夜間包，可以通過pip安裝。
kedro-org/kedro 用於生產就緒型數據科學的工具箱。它使用軟件工程最佳實踐來幫助你創建可重現、可維護和模塊化的數據工程和數據科學管道。基於Cookiecutter數據科學的標準、可修改且易於使用的項目模板。一系列輕量級數據連接器，用於跨多種不同的文件格式和文件系統（包括本地和網絡文件系統、雲對象存儲和HDFS）保存和加載數據。數據目錄還包括基於文件的系統的數據和模型版本控制。使用Kedro-Viz 自動解析純Python 函數和數據管道可視化之間的依賴關係。部署策略，包括單機或分佈式計算機部署，以及對在Argo、Prefect、Kubeflow、AWS Batch 和Databricks 上部署的額外支持。
yosinski/deep-visualization-toolbox DeepVis Toolbox是一個用於深度神經網絡可視化的工具箱，它允許用戶通過正則化優化生成神經元級別的可視化。該工具箱提供了兩種主要功能：1. 前向/反向傳播：用戶可以使用該工具箱對圖像進行前向傳播，以可視化網絡中的激活，並使用反向傳播計算任何單元相對於其他單元的導數。 2. 單元級可視化：該工具箱支持三種類型的單元級可視化，包括最大圖像、最大圖像的反捲積和通過正則化優化進行的激活最大化。用戶可以使用該工具箱可視化自己的模型，但需要預先計算單元級可視化，因為它們計算成本很高。該工具箱還包含CaffeNet模型的預計算單元級可視化。
featureform/featureform Featureform是一個虛擬特徵存儲，它可以將您現有的數據基礎設施轉變為特徵存儲。它允許數據科學家定義、管理和提供其ML 模型的特徵。 Featureform 位於您現有的基礎設施之上，並對其進行編排，使其像傳統的特徵存儲一樣工作。使用Featureform，數據科學團隊可以解決以下組織問題：增強協作、組織實驗、簡化部署、提高可靠性、保持合規性。 Featureform 通過將轉換、特徵、標籤和訓練集推送到具有元數據（如名稱、變體、血統和所有者）的集中式特徵存儲庫來實現這些目標。它還通過其編排器處理重試邏輯並自動解決其他常見分佈式系統問題來確保可靠性。
BloodAxe/pytorch-toolbelt PyTorch-toolbelt 是一個Python 庫，為PyTorch 提供了一系列工具，用於快速進行R&D 原型設計和Kaggle 比賽。它包含易於使用的編碼器-解碼器架構、各種模塊（如CoordConv、SCSE、Hypercolumn、深度可分離卷積等）、GPU 友好的測試時間增強（TTA）用於分割和分類、GPU 友好的大圖像（5000x5000）推理、日常常用例程（修復/恢復隨機種子、文件系統工具、指標）、損失函數（如BinaryFocalLoss、Focal、ReducedFocal、Lovasz、Jaccard 和Dice 損失、Wing Loss 等）以及Catalyst 庫的擴展（批預測可視化、額外指標）。該庫旨在補充Catalyst、Ignite 和fast.ai 等高級框架，而不是取代它們。
NannyML/nannyml NannyML是一個開源的Python 庫，用於在模型部署後估計模型性能（無需訪問目標數據），檢測數據漂移，並將數據漂移警報與模型性能變化智能地關聯起來。它專為數據科學家設計，提供易於使用的界面、交互式可視化，完全與模型無關，目前支持所有表格用例，包括分類和回歸。 NannyML 的核心貢獻者研究並開發了多種用於估計模型性能的新算法：基於置信度的性能估計(CBPE) 和直接損失估計(DLE)。 Nansters 還發明了一種使用基於PCA 的數據重建來檢測多變量數據漂移的新方法。如果您喜歡我們的工作，請加入我們的社區Slack 並為我們提供GitHub 星標。
ScottfreeLLC/AlphaPy AlphaPy是一個用Python 編寫的機器學習框架，專為交易者和數據科學家設計，使用scikit-learn、pandas 等庫，以及其他用於特徵工程和可視化的工具。 AlphaPy 可以用於運行機器學習模型（包括scikit-learn、Keras、xgboost、LightGBM 和CatBoost），生成混合或堆疊集成，使用MarketFlow 分析市場，使用SportFlow 預測體育賽事，以及使用MarketFlow 和Quantopian 的pyfolio開發交易系統和分析投資組合。 AlphaPy 還提供MarketFlow 和SportFlow 等功能，用於構建交易系統和分析市場，並提供GamePT 等示例項目。用戶可以通過Github 提交問題尋求支持，並通過Twitter關注項目最新動態。
pykale/pykale PyKale是一個基於PyTorch 生態的機器學習庫，旨在通過彌合數據、軟件和最終用戶之間的差距，使機器學習更易於跨學科研究。 PyKale 採用統一的管道式API，專注於多模態學習和遷移學習，目前支持圖、圖像和視頻，並提供深度學習和降維模型。 PyKale 通過綠色機器學習理念，如減少重複和冗餘、重用現有資源以及跨領域循環利用學習模型，來實現標準化和最小化。 PyKale 將促進和加速跨學科、知識感知的機器學習研究，應用於生物信息學、圖分析、圖像/視頻識別和醫學影像等領域，其總體主題是利用來自多個來源的知識進行準確且可解釋的預測。
PaddlePaddle/VisualDL VisualDL是飛槳深度學習可視化工具，提供多種圖表展示參數趨勢，可視化模型結構、數據樣本、張量直方圖、PR曲線、ROC曲線和高維數據分佈等，幫助用戶更清晰直觀地理解訓練過程和模型結構，高效優化模型。 VisualDL提供實時跟踪指標、可視化模型結構、展示數據樣本、可視化超參數與模型指標關係、展示張量分佈變化、展示PR曲線、將高維數據投影到低維空間等多種可視化功能。 VisualDL還提供VDL.service，方便開發者保存、跟踪和分享實驗的可視化結果。 VisualDL原生支持Python，開發者只需在訓練前添加幾行Python代碼即可獲取豐富的可視化結果。
google/flax Flax是一個為JAX 設計的靈活的神經網絡庫，它允許用戶通過修改訓練循環而不是添加框架功能來嘗試新的訓練形式。 Flax與JAX 團隊緊密合作開發，提供從神經網絡API（如Dense、Conv、{Batch|Layer|Group} Norm、Attention、Pooling、{LSTM|GRU} Cell、Dropout）到實用工具和模式（如復制訓練、序列化和檢查點、指標、設備預取）、教育示例（如MNIST、LSTM seq2seq、圖神經網絡、序列標記）以及快速、經過調優的大規模端到端示例（如CIFAR10、ImageNet 上的ResNet、Transformer LM1b）等一系列功能，幫助用戶快速開始研究。用戶可以使用pip install flax 命令安裝Flax。
microsoft/responsible-ai-toolbox MicrosoftResponsible AI Toolbox 是一個工具套件，提供模型和數據探索以及評估用戶界面和庫，幫助更好地理解AI 系統。這些界面和庫使AI 系統的開發人員和利益相關者能夠更負責任地開發和監控AI，並做出更好的數據驅動決策。該工具箱包含三個倉庫：Responsible-AI-Toolbox 倉庫包含四個可視化小部件，用於模型評估和決策：Responsible AI 儀表板、錯誤分析儀表板、可解釋性儀表板和公平性儀表板；Responsible-AI-Toolbox-Mitigations 倉庫包含用於緩解AI 系統中偏差和公平問題的工具；Responsible-AI-Widgets 倉庫包含用於構建Responsible AI工具箱的UI 組件。
jupyter-widgets/ipyleaflet ipyleaflet是一個Jupyter 和Leaflet.js 之間的橋樑，它允許在Jupyter筆記本中創建交互式地圖。該項目提供了豐富的功能，包括選擇底圖、加載GeoJSON 地圖、使用Leaflet.js 原生組件、使用Splitmap 控件、顯示速度數據、創建Choropleth 圖層以及使用小部件控件。您可以使用conda 或pip 安裝ipyleaflet，並通過詳細的文檔快速上手。該項目還包含一個名為jupyter-leaflet 的npm 包，它是一個前端組件，以及一個名為ipyleaflet 的Python 包，它是Python Jupyter 內核的後端。類似地，xleaflet 項目為C++ Jupyter 內核"xeus-cling" 提供了jupyter-leaflet 的後端。
microsoft/FLAML FLAML是一個輕量級的Python庫，用於高效地自動化機器學習和AI操作。它基於大型語言模型、機器學習模型等自動執行工作流程，並優化其性能。 FLAML支持快速、經濟的自動調優，能夠處理具有異構評估成本和復雜約束/指導/提前停止的大型搜索空間。它還支持構建下一代GPT-X應用程序，基於多代理對話，並最大限度地提高GPT-X模型的性能。 FLAML由微軟研究院和賓夕法尼亞州立大學、史蒂文斯理工學院、華盛頓大學和滑鐵盧大學等合作者的一系列研究成果提供支持。它還擁有.NET實現，名為ML.NET，這是一個開源的跨平台機器學習框架。
weld-project/weld Weld是一個用於提升數據密集型應用性能的語言和運行時。它通過使用通用中間表示來表達庫中核心計算，並在每個框架之間進行優化，從而跨庫和函數進行優化。現代分析應用結合了來自不同庫和框架的多個函數來構建複雜的流程。即使單個函數可以在隔離狀態下實現高性能，但由於函數之間存在大量數據移動，組合流程的性能通常比硬件限制低一個數量級。 Weld 通過延遲構建整個流程的計算，然後僅在需要結果時對其進行優化和評估來解決此問題。您可以加入我們的Google Group 或Weld 郵件列表，參與關於Weld 的討論。
m3dev/gokart Gokart是一個用於機器學習管道的Python庫，旨在解決可重複性、任務依賴關係、代碼質量約束和易用性問題。它通過將每個任務的元數據（如輸出數據、導入的模塊版本、處理時間、隨機種子、日誌和參數）存儲在單獨的pkl文件中，並使用哈希值進行標識，來確保可重複性。 Gokart還支持自動重新運行管道，並支持使用GCS和S3作為中間結果的存儲。此外，它還提供了一些額外的功能，如數據類型檢查、自動目錄結構生成、種子固定和SOLID原則支持。 Gokart已被m3.inc使用超過3年，並在Nishika.inc的自然語言處理競賽中獲得第二名。
iterative/cml CML是一個開源的命令行工具，用於為機器學習實施持續集成和持續交付（CI/CD），專注於MLOps。它可以幫助自動化開發工作流程，包括機器配置、模型訓練和評估、跨項目歷史比較ML實驗以及監控數據集變化。 CML可以幫助訓練和評估模型，並在每個拉取請求中自動生成包含結果和指標的可視化報告。 CML遵循GitFlow原則，使用GitLab或GitHub管理ML實驗，並使用DVC對數據和模型進行編碼，而不是推送到Git倉庫。它還自動生成包含指標和圖表的ML實驗報告，並支持使用GitLab、Bitbucket或GitHub構建自己的ML平台，無需額外的服務。
workflowr/workflowr workflowr是一個R 包，幫助研究人員組織他們的分析，促進項目管理、可重複性、協作和結果共享。它結合了literate programming（knitr 和rmarkdown）和版本控制（Git，通過git2r）來生成一個網站，其中包含帶時間戳、版本化和文檔化的結果。任何R 用戶都可以快速輕鬆地使用workflowr。它提供了組織化的項目模板、代碼和結果混合、Git 版本控制、可重複性（顯示代碼版本、隔離的R 會話、會話信息記錄、隨機數生成種子設置）、可共享性（創建網站展示結果、文檔化免費託管網站、創建過去版本結果鏈接）等功能。
tensorpack/tensorpack 基於圖模式TensorFlow 的神經網絡訓練接口。另一個TF 高級API，具有以下亮點：注重訓練速度。 Tensorpack 的速度是免費的——它以高效的方式使用TensorFlow，沒有額外的開銷。在普通的CNN 上，它的訓練速度比等效的Keras 代碼快1.2~5 倍。如果使用Tensorpack 編寫，您的訓練可能會更快。可擴展的數據並行多GPU/分佈式訓練策略是現成的。有關更多基準測試，請參閱tensorpack/benchmarks。符號編程（例如tf.data ）不提供研究所需的數據處理靈活性。 Tensorpack 通過各種自動並行化策略從純Python 中榨取最大的性能。
HigherOrderCO/HVM 基於Rust的一個大規模並行交互的高階虛擬機。通過將高級語言（如Python 和Haskell）的程序編譯為HVM，可以直接在大規模並行硬件（如GPU）上運行這些語言，並具有近乎理想的加速。 HVM2 是HVM1 的繼任者，HVM1 是該概念的2022 年原型。與其前身相比，HVM2 更簡單、更快，最重要的是更正確。 HOC為其PAPER上列出的所有功能提供長期支持。該存儲庫提供了用於指定HVM2 網絡的低級IR 語言，以及從該語言到C 和CUDA 的編譯器。它不適合直接供人類使用。如果您正在尋找一種與HVM2 交互的高級語言，請選Bend。
KevinMusgrave/pytorch-metric-learning PyTorch Metric Learning是一個易於使用的深度度量學習庫，它提供模塊化、靈活且可擴展的組件，並用PyTorch編寫。該庫包含9個模塊，可以獨立使用或組合在一起，用於完整的訓練/測試流程。其工作原理是通過損失函數和挖掘器來優化模型，使模型能夠學習到更有意義的特徵表示，從而提高相似性搜索、圖像檢索等任務的性能。例如，TripletMarginLoss 損失函數會計算所有可能的triplet，並根據標籤形成anchor-positive 和anchor-negative 對，而挖掘器則可以幫助找到更難的正負樣本對，從而提高模型的學習效果。
learnables/learn2learn learn2learn是一個用於元學習研究的PyTorch 庫，它旨在加速元學習研究的快速原型設計和正確可重複性。 learn2learn 提供低級實用程序和統一接口來創建新的算法和領域，以及現有算法的高質量實現和標準化基準。它與torchvision、torchaudio、torchtext、cherry 和任何其他基於PyTorch 的庫兼容。該庫包含用於創建少樣本任務的Taskset 和轉換，用於計算機視覺和少樣本學習的模型、數據集和基準，用於元強化學習的環境和實用程序，以及現有元學習算法的高級包裝器和用於可微優化和元下降的實用程序和算法。
sdv-dev/SDV SDV是一個用於生成表格數據的Python庫，它使用機器學習算法從真實數據中學習模式並將其模擬到合成數據中。 SDV提供了多種模型，從經典的統計方法（如高斯Copula）到深度學習方法（如CTGAN），可以生成單個表格、多個連接表格或順序表格的數據。此外，SDV還提供數據評估和可視化功能，可以比較合成數據與真實數據，並生成質量報告以獲得更多見解。用戶還可以預處理、匿名化數據，並定義約束條件，以提高合成數據的質量。 SDV提供了豐富的文檔、教程和社區支持，方便用戶學習和使用。
thomasp85/patchwork patchwork是一個用於組合ggplot 圖表的R 包，它提供了一種簡單易用的API，可以將多個ggplot 圖表組合成一個圖形，支持任意複雜的佈局和對齊方式。它類似於gridExtra::grid.arrange() 和cowplot::plot_grid()，但更易於使用，並支持更複雜的佈局。用戶可以通過簡單的加號運算符將多個ggplot 圖表組合在一起，並使用括號和斜杠定義復雜的佈局，例如將三個圖表並排放置，然後在下方放置一個圖表。 patchwork 提供了豐富的功能，用戶可以參考官方文檔學習更多關於組合、佈局、註釋和跨頁對齊等功能。
gugarosa/opytimizer Opytimizer是一個基於Python 的元啟發式優化算法庫，它提供了一系列易於使用的元啟發式優化算法實現，涵蓋從代理到搜索空間、從內部函數到外部通信等各個方面。你可以使用Opytimizer 創建自己的優化算法，設計或使用預加載的優化任務，混合和匹配不同的策略來解決你的問題。 Opytimizer 兼容Python 3.6+，並提供豐富的示例和集成，例如Learnergy、NALP、OPFython、PyTorch、Scikit-Learn 和Tensorflow。 Opytimizer 的結構包含核心組件、函數、數學工具、優化器、空間和實用工具，並以最小化問題為核心。
trent-b/iterative-stratification iterative-stratification 是一個為多標籤數據提供分層交叉驗證器的scikit-learn兼容項目。它擴展了scikit-learn 的交叉驗證器，使其能夠對多標籤數據進行分層，並提供MultilabelStratifiedKFold、RepeatedMultilabelStratifiedKFold 和MultilabelStratifiedShuffleSplit等實現，其分層算法基於Sechidis 等人(2011) 的論文。該項目支持Python 3.4 到3.9，依賴於scipy、numpy 和scikit-learn。用戶可以通過pip 安裝該項目，並像使用其他交叉驗證器一樣使用其提供的多標籤交叉驗證器，例如與cross_val_score 或cross_val_predict 一起使用。
KindXiaoming/pykan Kolmogorov-Arnold 網絡（KAN） 是多層感知器（MLP） 的有前途的替代品。 KAN 與MLP 一樣具有強大的數學基礎：MLP 基於通用近似定理，而KAN 基於Kolmogorov-Arnold 表示定理。 KAN 和MLP 是雙重的：KAN 在邊緣具有激活函數，而MLP 在節點上具有激活函數。這個簡單的變化使KAN在模型準確性和可解釋性方面都比MLP更好。 KAN 比MLP 具有更快的擴展速度，KAN 比參數較少的MLP 具有更好的準確性。 KAN可以直觀地可視化。 KAN 提供MLP 無法提供的可解釋性和交互性。我們可以使用KAN來潛在地發現新的科學定律。
google/caliban Caliban是一個幫助研究人員在隔離、可重複的計算環境中啟動和跟踪其數值實驗的工具。它由機器學習研究人員和工程師開發，使研究人員能夠輕鬆地將運行在工作站上的簡單原型擴展到在雲端運行的數千個實驗作業。使用Caliban，您可以：在本地開發實驗代碼並在隔離的（Docker）環境中進行測試；輕鬆地遍歷實驗參數；將您的實驗作為云作業提交，這些作業將在相同的隔離環境中運行；控制和跟踪作業。 Caliban 需要Docker 和Python 3.6 或更高版本。您可以使用pip install caliban安裝Caliban。
pyqtgraph/pyqtgraph PyQtGraph是一個用純Python編寫的圖形庫，專為數學、科學和工程應用而設計。它利用NumPy進行數值計算，利用Qt的GraphicsView框架進行二維顯示，利用OpenGL進行三維顯示，因此速度很快。該項目支持Python 3.10+、Qt 5.15、6.2+以及PyQt5、PyQt6、PySide2或PySide6。此外，通過第三方庫（如SciPy、PyOpenGL、h5py、colorcet、Matplotlib、CuPy、Numba和Jupyter_rfb）可以添加額外的功能，例如圖像處理、3D圖形、HDF5格式導出、感知一致顏色映射、Matplotlib圖形導出、CUDA加速圖像處理、更快的圖像處理以及Jupyter Notebook支持。
NVIDIA/DALI NVIDIA DALI是一個GPU 加速的數據加載和預處理庫，旨在加速深度學習訓練和推理應用。它提供了一組高度優化的構建塊，用於加載和處理圖像、視頻和音頻數據，可以作為流行深度學習框架中內置數據加載器和數據迭代器的可移植替代方案。 DALI 通過將數據預處理卸載到GPU 來解決CPU 瓶頸問題，並利用其自己的執行引擎來最大化輸入管道的吞吐量。它支持多種數據格式，可移植到TensorFlow、PyTorch、PaddlePaddle 和JAX 等框架，並提供易於使用的Python API 和可擴展的自定義管道構建能力。
tidyverse/ggplot2 ggplot2是一個基於“圖形語法”的R 語言繪圖系統，它允許用戶通過聲明式的方式創建圖形。用戶只需提供數據，並告訴ggplot2如何將變量映射到美學屬性、使用哪些圖形基元，ggplot2 就會自動處理細節，生成圖形。 ggplot2 已經穩定發展超過十年，被數百萬用戶用於製作數百萬張圖表。用戶可以通過ggplot()函數開始繪圖，並添加圖層（例如geom_point()或geom_histogram() ）、比例尺（例如scale_colour_brewer() ）、分面規範（例如facet_wrap() ）和坐標系（例如coord_flip() ）來定製圖形。
modAL-python/modAL modAL是一個模塊化的主動學習框架，專為Python3 設計，以模塊化、靈活性和可擴展性為目標。它基於scikit-learn，允許你快速創建主動學習工作流程，並提供幾乎完全的自由度。此外，你可以輕鬆地用自定義解決方案替換部分組件，方便你輕鬆設計新算法。主動學習通過智能地查詢你對信息量最大的實例進行標註，來提高分類性能。 modAL 提供了一組工具來處理這類問題，它允許你將scikit-learn 或Keras 模型無縫集成到你的算法中，並輕鬆定制你的自定義查詢策略和不確定性度量。
DmitryUlyanov/Multicore-TSNE Multicore-TSNE 是一個基於Barnes-Hut t-SNE 的多核並行實現，使用Python 和Torch 進行了封裝。它比sklearn.TSNE在單核上運行速度更快，並且在多核環境下能夠顯著提升效率。該項目利用並行計算加速了最近鄰搜索步驟，從而提升了數據預處理的效率，但在梯度下降優化步驟的並行化方面還有提升空間。該項目適用於大規模數據集和高維數據，尤其是在數據維度較高時，並行計算帶來的加速效果更加明顯。用戶可以通過pip 安裝該項目，並使用Python 代碼調用其API 進行t-SNE 降維操作。
spring-projects/spring-ai Spring AI是一個面向AI 應用開發的Spring 友好型框架，旨在將Spring生態系統的可移植性和模塊化設計理念應用於AI 領域，並推廣使用POJO 作為AI 應用的構建塊。它通過提供Spring 友好的API 和抽象，連接企業數據和API 與AI 模型，並支持所有主要AI 模型提供商（如Anthropic、OpenAI、Microsoft、Amazon、Google 和Ollama）和向量數據庫提供商，提供可移植的API、結構化輸出、工具/函數調用、可觀察性、ETL 框架、AI 模型評估和ChatClient API 等功能，幫助開發者構建下一代生成式AI 應用。
h2oai/h2o-3 H2O是一個開源的、分佈式的、快速且可擴展的機器學習平台，支持多種算法，包括深度學習、梯度提升（GBM和XGBoost）、隨機森林、廣義線性模型（帶彈性網絡）、K-Means、PCA、廣義加性模型（GAM）、RuleFit、支持向量機（SVM）、堆疊集成、自動機器學習（AutoML）等。 H2O使用熟悉的接口，如R、Python、Scala、Java、JSON和Flow筆記本/Web界面，並與Hadoop和Spark等大數據技術無縫集成。 H2O模型可以下載並加載到H2O內存中進行評分，或導出為POJO或MOJO格式，以便在生產環境中進行快速評分。
orchest/orchest Orchest是一個用於簡化數據管道構建的工具，無需框架或YAML配置，只需使用Python、R或Julia編寫數據處理代碼。它提供用戶友好的界面來可視化構建管道，支持在筆記本和腳本中編寫代碼，並允許運行管道的任何子集。 Orchest可以輕鬆定義依賴項，並在任何機器上運行，並提供跨整個管道運行的服務。它還支持使用Git對項目進行版本控制。 Orchest目前處於beta階段，其團隊正在開發路線圖以添加更多功能。用戶可以查看示例項目以快速上手，也可以使用Orchest Cloud服務直接體驗。
stan-dev/pystan PyStan是一個Python 接口，用於訪問Stan，一個用於貝葉斯推斷的平台。 Stan 是一個用於統計建模和高性能統計計算的先進平台，被成千上萬的用戶用於社會、生物和物理科學、工程和商業領域的統計建模、數據分析和預測。 PyStan 的主要特點包括：自動緩存編譯後的Stan 模型、自動緩存Stan 模型的樣本、類似於RStan 的接口以及開源軟件(ISC 許可證)。使用pip install pystan安裝PyStan，它可以在Linux 和macOS 上運行。您還需要一個C++ 編譯器，例如gcc u003e= 9.0 或clang u003e= 10.0。
amundsen-io/amundsen Amundsen是一個元數據驅動的應用程序，旨在提高數據分析師、數據科學家和工程師在與數據交互時的效率。它通過索引數據資源（表格、儀錶盤、流等）並基於使用模式（例如，高查詢頻率的表格比低查詢頻率的表格顯示得更早）提供類似PageRank 的搜索功能來實現這一點。可以將其視為數據的Google 搜索。該項目以挪威探險家羅阿爾德·阿蒙森的名字命名，他是第一個發現南極的人。 Amundsen 由LF AI & Data 基金會託管，包含三個微服務、一個數據攝取庫和一個公共庫。
ContinualAI/avalanche Avalanche是一個基於PyTorch 的端到端持續學習庫，由ContinualAI開發，旨在為持續學習算法的快速原型設計、訓練和可重複評估提供一個共享的、協作的開源代碼庫（MIT 許可）。 Avalanche 包含四個主要模塊：基準測試、訓練、評估和模型，分別提供數據處理、模型訓練、評估指標和模型擴展等功能。 Avalanche 幫助研究人員減少代碼編寫量，提高可重複性、模塊化和可重用性，並增強研究成果的影響力和可用性。該項目還提供預訓練模型和流行的架構，可用於持續學習實驗。
ropensci/skimr skimr是一個用於生成數據摘要統計的R 包，它提供了一種無縫的、可管道化的方式來處理數據摘要統計。它遵循“最小驚訝原則”，以用戶可以快速瀏覽的方式顯示摘要統計信息，幫助用戶快速理解數據。 skimr支持多種數據類型，並返回一個skim_df對象，該對象可以包含在管道中或以易於人類閱讀的方式顯示。 skimr提供比summary()函數更多的統計信息，包括缺失值、完整值、計數和標準差，並按數據類型單獨報告。它還支持基於pillar包的火花條和火花線。
google-deepmind/dm-haiku Haiku是一個基於JAX 的神經網絡庫，由DeepMind 開發，旨在簡化JAX 上的神經網絡構建，並提供與Sonnet（TensorFlow 神經網絡庫）類似的編程體驗。 Haiku 提供了hk.Module模塊抽象和hk.transform函數轉換，允許用戶使用面向對象的編程模型，同時保留JAX 的純函數轉換能力。 Haiku 已在DeepMind 內部廣泛應用，並被用於各種大規模實驗，包括圖像和語言處理、生成模型和強化學習。 Haiku 的目標是成為一個輕量級的庫，而不是一個框架，以便與其他庫和JAX 生態系統良好集成。
tencentmusic/cube-studio 開源雲原生一站式機器學習/深度學習AI平台，支持sso登錄，多租戶/多項目組，數據資產對接，notebook在線開發，拖拉拽任務流pipeline編排，多機多卡分佈式算法訓練，超參搜索，推理服務VGPU，多集群調度，邊緣計算，serverless，標註平台，自動化標註，數據集管理，大模型一鍵微調，llmops，私有知識庫，AI應用商店，支持模型一鍵開發/推理/微調，私有化部署，支持國產cpu/gpu/npu芯片，支持RDMA，支持pytorch/ tf/ mxnet/ deepspeed/ paddle/ colossalai/ horovod/ spark/ ray/ volcano分佈式
interpretml/DiCE DiCE (DiverseCounterfactual Explanations) 是一個開源庫，用於生成機器學習模型的多種反事實解釋。它可以幫助用戶理解模型的決策過程，並提供可操作的建議，例如，用戶可以了解需要改變哪些特徵才能獲得不同的預測結果。 DiCE 使用多種方法生成反事實解釋，例如，使用遺傳算法或基於梯度的優化方法。它支持各種機器學習模型，包括線性模型、決策樹、神經網絡等。 DiCE 的目標是為機器學習模型提供更全面、更易於理解的解釋，從而提高模型的可信度和透明度。
WecoAI/aideml AIDE是一個先進的機器學習工程師代理，能夠根據自然語言描述生成機器學習解決方案代碼。它在OpenAI的MLE-bench基準測試中表現出色，在75個Kaggle機器學習任務中取得了領先成績，獲得的獎牌數量是第二名代理架構的四倍。 AIDE能夠使用自然語言描述任務，並生成經過測試的機器學習管道Python腳本，支持迭代優化，並提供可視化工具來了解其實驗過程。用戶可以通過命令行運行AIDE，只需提供數據目錄、目標描述和可選的評估指標，即可讓AIDE自動生成解決方案。
PAIR-code/saliency Saliency是一個框架無關的庫，提供了最先進的顯著性方法的實現，包括XRAI、BlurIG、SmoothGrad等。該庫包含了多種顯著性技術，並提供了Performance Information Curve (PIC)指標用於評估顯著性方法的質量。用戶可以使用pip安裝該庫，並通過core和tf1兩個子包使用庫中的功能。 core子包使用通用的call_model_function ，可以與任何機器學習框架一起使用，而tf1子包則接受輸入/輸出張量，並為每種方法設置必要的圖操作。該庫還提供了可視化模塊，用於可視化顯著性結果。
maximtrp/scikit-posthocs scikit-posthocs 是一個Python 包，提供用於成對多重比較的後驗檢驗，通常在統計數據分析中執行，以評估組水平之間的差異，前提是ANOVA 檢驗已獲得統計學上的顯著結果。 scikit-posthocs 與Pandas DataFrames 和NumPy 數組緊密集成，以確保快速計算和方便的數據導入和存儲。該包對使用Python 進行工作的統計學家、數據分析師和研究人員很有用。它提供了多種參數和非參數後驗檢驗，以及異常值檢測和基本繪圖方法，旨在彌補Python 統計生態系統中與R 包相比的不足。
slundberg/shap 一種博弈論方法，用於解釋任何機器學習模型的輸出。 SHAP（SHapley Additive exPlanations）是一種博弈論方法，用於解釋任何機器學習模型的輸出。它將最優信用分配與局部解釋聯繫起來，使用博弈論中的經典Shapley值及其相關擴展（有關詳細信息和引用，請參閱論文）。雖然SHAP可以解釋任何機器學習模型的輸出，但我們已經為樹集成方法開發了一種高速精確算法（請參閱我們的Nature MI論文）。 XGBoost，LightGBM，CatBoost，scikit-learn和pyspark tree模型支持快速C++實現。
kelvins/awesome-mlops 精選的精彩MLOps 工具列表。包括：AutoML 自動機器學習、用於機器學習的CI/CD、Cron作業監控、數據目錄、數據擴充、數據探索、數據管理、數據處理、數據驗證、數據可視化、漂移檢測、特徵工程、功能商店、超參數調優、知識共享、機器學習平台、模型公平性和隱私性、模型可解釋性、模型生命週期、模型服務、模型測試和驗證、優化工具、簡化工具、可視化分析與調試、工作流工具、資源、文章、書、事件、其他列表、播客、Slack、網站鏈接、貢獻
polyaxon/polyaxon 用於構建、訓練和監控大規模深度學習應用程序的平台。我們正在製作一個系統來解決機器學習應用程序的可重複性、自動化和可擴展性問題。 Polyaxon 可部署到任何數據中心、雲提供商中，也可以由Polyaxon 託管和管理，並且它支持所有主要的深度學習框架，如Tensorflow、MXNet、Caffe、Torch 等。 Polyaxon 通過智能容器和節點管理管理工作負載，使開發深度學習應用程序變得更快、更輕鬆、更高效。它將GPU 服務器轉變為您的團隊或組織的共享自助服務資源。
rstudio/rstudio RStudio是一個用於R 編程語言的集成開發環境(IDE)，提供定制化的工作台，集成了控制台、源代碼編輯器、繪圖工具、工作空間、幫助文檔、歷史記錄等功能，支持語法高亮、代碼自動補全，可直接從源代碼編輯器執行代碼，並完全支持Sweave 和TeX 文檔的編寫。 RStudio 可以在Windows、Mac 和Linux 上運行，並提供社區維護的FreeBSD 版本。此外，它還可以作為服務器運行，允許多個用戶通過Web 瀏覽器訪問RStudio IDE。更多信息請訪問項目網站：https://posit.co/。
clab/dynet DyNet是一個由卡內基梅隆大學開發的動態神經網絡工具包，用C++編寫（並提供Python綁定），它在CPU或GPU上運行效率很高，並能很好地處理動態結構網絡，這些網絡在每個訓練實例中都會發生變化。 DyNet被用於構建用於句法分析、機器翻譯、形態詞語變化等領域的最新系統。它提供自動批處理功能，可以提高訓練效率。 DyNet依賴於CMake和Eigen庫，需要手動下載特定版本的Eigen庫才能編譯。用戶可以參考文檔和教程開始使用DyNet，並可以加入用戶組尋求幫助。
tensorflow/data-validation TensorFlow Data Validation(TFDV) 是一個用於探索和驗證機器學習數據的庫，旨在高度可擴展並與TensorFlow 和TensorFlow Extended (TFX) 協同工作。 TFDV 包含：可擴展的訓練和測試數據摘要統計計算，與數據分佈和統計信息查看器集成，以及面部比較功能對，自動數據模式生成以描述數據期望，模式查看器以幫助檢查模式，異常檢測以識別異常（例如缺失特徵、超出範圍的值或錯誤的特徵類型），以及異常查看器以查看哪些特徵存在異常並學習更多信息以糾正它們。
Microsoft/MMdnn MMdnn是一個跨框架工具，用於轉換、可視化和診斷深度學習模型。它支持模型在Caffe、Keras、MXNet、TensorFlow、CNTK、PyTorch Onnx 和CoreML 等框架之間轉換，並提供模型檢索、可視化和部署功能。 MMdnn 還提供代碼片段，簡化模型的重新訓練和推理過程，並提供指南幫助用戶將模型部署到其他硬件平台，例如Android 和TensorRT。此外，MMdnn 還與其他Microsoft 開源項目（如OpenPAI、FrameworkController、NNI、NeuronBlocks 和SPTAG）協同工作，以提升AI 和深度學習的生產力。
GPflow/GPflow GPflow是一個基於TensorFlow 的Python 庫，用於構建高斯過程模型。它實現了現代高斯過程推理，支持可組合的核函數和似然函數。 GPflow 基於TensorFlow 2.4+ 和TensorFlow Probability，可在GPU 上快速執行計算。該項目由James Hensman 和Alexander G. deG. Matthews 創建，並由Artem Artemev、Mark van der Wilk、ST John 和Vincent Dutordoir 等人維護。 GPflow 依賴TensorFlow 2.4+ 和TensorFlow Probability 0.12+，支持Python 3.7+。可以通過pip install gpflow安裝最新穩定版，或從GitHub 獲取最新開發版。
tensorflow/probability TensorFlow Probability(TFP) 是一個用於在TensorFlow 中進行概率推理和統計分析的庫。它整合了概率方法和深度網絡，通過自動微分實現基於梯度的推理，並利用硬件加速（如GPU）和分佈式計算擴展到大型數據集和模型。 TFP 還可以在純JAX 中用作“Tensor 友好的概率”。其主要組成部分包括：基礎的TensorFlow 數值運算，統計構建塊（如概率分佈和雙射變換），模型構建工具（如聯合分佈和概率層），以及概率推理算法（如馬爾可夫鏈蒙特卡羅和變分推理）。
Netflix/vectorflow Vectorflow是一個輕量級的、專門針對稀疏數據和單機環境優化的神經網絡庫，由Netflix開發。它使用D語言編寫，並以dub包的形式發布。 Vectorflow沒有外部依賴，只需要一個最新的D編譯器，推薦使用LDC編譯器以獲得最佳運行速度。該庫提供了一系列示例，包括RCV1（稀疏邏輯回歸）示例，用戶可以通過dub test命令運行測試。用戶可以通過dub build -b ddox && dub run -b ddox命令構建和本地服務文檔，也可以使用其他DDOC編譯器。更多信息請參考倉庫的Wiki頁面。
windmaple/awesome-AutoML Awesome-AutoML 是一個收集AutoML 相關研究、工具、項目和其他資源的列表。 AutoML 是指使用機器學習方法和流程來自動化機器學習系統並使其更易於訪問的技術。近年來，AutoML 領域發展迅速，一些公司已經將該技術商業化。 AutoML 包括神經網絡架構搜索、超參數優化、優化器搜索、數據增強搜索、學習學習/元學習等多種類型。該項目整理了大量AutoML相關的研究論文，包括AutoML 綜述、神經網絡架構搜索等方面的論文，並提供了相關工具和項目的鏈接。
manujosephv/pytorch_tabular PyTorch Tabular是一個用於表格數據深度學習模型的標準框架，旨在簡化深度學習在表格數據上的應用，並將其應用於現實世界案例和研究。該庫的核心設計原則包括易用性、可定制性和可擴展性。它基於PyTorch 和PyTorch Lightning，提供多種模型，例如FeedForwardNetwork、Neural Oblivious Decision Ensembles、TabNet、Mixture Density Networks 和AutoInt，並支持多種功能，例如自定義模型、數據預處理和模型訓練。用戶可以通過pip 安裝PyTorch Tabular，並參考文檔進行使用。
lowRISC/opentitan OpenTitan是一個開源矽信任根(RoT) 項目。使企業、平台提供商和芯片製造商的矽RoT 設計和實現更加透明、可信和安全，以生產高質量的開放IP 以作為全功能產品的實例化。製造商越來越多地開始關注防篡改處理器（或其中一部分），通常被稱為“安全區域（Secure Enclave）”，以阻止各種攻擊。芯片中使用“信任根（Root of Trust）”，在系統每次啟動時進行加密檢查，確保沒有任何內容被惡意篡改。如果發現問題，安全區域會阻止計算機啟動。
pytorchbearer/torchbearer torchbearer是一個為深度學習和可微分編程研究人員（或任何需要它的人）設計的PyTorch 模型擬合庫。它旨在顯著減少編寫樣板代碼的數量，同時不限制PyTorch 的功能和開放性。 torchbearer 提供了用於訓練、驗證和測試模型的簡化接口，以及用於跟踪指標、保存模型和可視化結果的回調。它還支持使用不同的優化器、損失函數和數據加載器。從2月底開始，torchbearer 將不再積極維護，但會繼續修復發現的錯誤並確保它在PyTorch 的新版本上運行。
google/neural-tangents Neural Tangents是一個Python 庫，用於定義、訓練和評估無限寬度的複雜神經網絡，它可以像處理有限網絡一樣輕鬆地處理無限網絡。該庫利用JAX 和XLA，可以在CPU、GPU 或TPU 上運行，並針對速度和內存效率進行了優化，可以自動分佈在多個加速器上。 Neural Tangents 允許用戶構建由卷積、池化、殘差連接、非線性等常見構建塊組成的模型，並獲得有限模型和相應的GP 核函數。該庫已在100 多篇論文中使用，可用於研究神經網絡的無限寬度極限。
bqplot/bqplot bqplot是一個基於Jupyter 的2D 可視化系統，它利用Grammar of Graphics的概念，將圖表中的每個組件都設計為交互式小部件。這使得用戶能夠將可視化與其他Jupyter 交互式小部件集成，只需幾行Python 代碼就能創建完整的GUI。 bqplot 依賴於ipywidgets、traitlets、traittypes、numpy 和pandas 等庫。用戶可以通過pip 或conda 進行安裝，並使用JupyterLab 或Jupyter Notebook 進行使用。 bqplot 提供了pyplot API 和Object Model API，並包含豐富的示例，方便用戶快速上手。
zyushun/Adam-mini Adam-mini是Adam 優化器的精簡版本，它在保留與AdamW 相當或更好的性能的同時，將內存佔用減少了50%。 Adam-mini通過減少Adam 中學習率資源（即
hbaniecki/adversarial-explainable-ai 該項目是一個關於可解釋人工智能(XAI) 中對抗性攻擊和防禦的綜述，它涵蓋瞭如何攻擊和防禦解釋方法，以確保其安全性和可靠性。該項目還提供了一個統一的符號和分類法，以方便研究人員和從業人員理解對抗性機器學習(AdvML) 和XAI領域之間的交叉研究。項目特色包括：對現有XAI 安全漏洞的總結，以及對抗性XAI (AdvXAI) 中新興研究方向的概述。該項目還提供了一個關於對抗性攻擊和防禦方法的調查，以及如何設計魯棒的解釋方法。
PennyLaneAI/pennylane PennyLane是一個跨平台的Python庫，用於量子計算、量子機器學習和量子化學。它允許你像訓練神經網絡一樣訓練量子計算機。它支持與PyTorch、TensorFlow、JAX、Keras和NumPy等框架集成，並提供即時編譯功能，支持自適應電路、實時測量反饋和無限循環等高級特性。 PennyLane還支持多種量子硬件後端，包括Strawberry Fields、Amazon Braket、IBM Q、Google Cirq、Rigetti Forest、Qulacs、Pasqal和Honeywell等。它還包含用於量子機器學習、優化和量子化學的內置工具。
hrbrmstr/hrbrthemes hrbrthemes是一個專注於排版風格的ggplot2 主題和主題組件包。它提供了多種主題，例如theme_ipsum ，使用Arial Narrow字體，該字體在大多數現代系統上都已安裝。該包還包含其他主題，例如theme_ipsum_gs (Goldman Sans Condensed)、 theme_ipsum_es (Econ Sans Condensed)、 theme_ipsum_rc (Roboto Condensed) 等，以及與這些主題相匹配的調色板和顏色，例如ipsum_pal和ft_cols 。此外，它還提供了用於設置刻度標籤格式的函數，例如scale_x_comma和scale_y_percent 。
JetBrains/lets-plot Lets-Plot是一個基於圖形語法(Grammar of Graphics) 的跨平台繪圖庫，靈感來自Leland Wilkinson 的著作《圖形語法》。它允許用戶通過組合獨立組件創建各種圖形，類似於R 語言中的ggplot2 包。該庫提供Python 和Kotlin 版本，支持在Jupyter Notebook、Kotlin Notebook、Datalore 和Compose Multiplatform 等環境中使用，並提供JVM 和Kotlin/JS 版本。此外，Lets-Plot 還提供一個名為“Lets-Plot in SciView”的插件，為PyCharm 和IntelliJ IDEA 的科學模式添加交互式繪圖功能。
SimonVandenhende/Multi-Task-Learning-PyTorch 該項目使用PyTorch實現多任務學習架構，包括MTI-Net（ECCV2020），並提供了一個多任務學習資源庫。項目代碼基於論文"Multi-Task Learning for Dense Prediction Tasks: A Survey"和"MTI-Net: Multi-Scale Task Interaction Networks for Multi-Task Learning"。用戶可以根據自己的需求修改代碼，例如更改數據集路徑、輸出目錄和模型配置等。項目支持PASCAL和NYUD數據集，並提供語義分割、深度估計、法線估計、邊緣檢測、顯著性檢測和人體部位分割等任務。
YihongDong/FAN FAN (Fourier Analysis Networks) 是一種新型神經網絡，它通過將傅里葉分析融入神經網絡結構，有效地提升了模型對周期性信號的建模能力。 FAN 層使用餘弦和正弦函數來提取輸入信號的頻率信息，並結合非線性激活函數，從而在保留原始信息的同時，增強了模型對周期性模式的識別能力。該項目提供多個應用場景的代碼，包括週期性建模、情感分析、時間序列預測、符號公式表示和圖像識別，並提供詳細的運行說明和數據集獲取方式。
XiaoMi/mace MACE是一個針對移動端異構計算平台優化的深度學習推理框架，支持Android、iOS、Linux 和Windows 設備。 MACE 旨在提升性能、降低功耗、提高響應速度、優化內存使用和庫體積，並提供模型保護功能。 MACE 支持TensorFlow、Caffe 和ONNX 模型格式，並提供豐富的模型庫，可在MACE Model Zoo 中找到。用戶可以通過文檔學習如何使用MACE，並可通過GitHub 問題、Slack 和QQ 群與開發團隊交流。
ebhy/budgetml BudgetML是一個快速、低成本的機器學習模型部署工具，它利用Google Cloud Platform的預搶占實例（比普通實例便宜80%），並自動生成安全的HTTPS API端點，確保最低的運行成本和最小的停機時間。它使用FastAPI構建，提供交互式Swagger文檔，並支持通過LetsEncrypt和docker-swag生成SSL證書。 BudgetML還提供完整的OAuth2安全端點，支持密碼和Bearer模式。與傳統雲函數或Kubernetes集群相比，BudgetML更輕量級，更易於使用，適合快速部署模型並降低成本。
chartdb/chartdb ChartDB是一個免費開源的數據庫圖表編輯器，可以通過單個查詢可視化和設計您的數據庫。它支持多種數據庫，包括PostgreSQL、MySQL、SQL Server、MariaDB、SQLite 和ClickHouse。 ChartDB 使用智能查詢快速檢索數據庫模式並將其可視化為JSON 格式，方便您進行文檔記錄、團隊討論或數據理解。它還提供AI 驅動的導出功能，可以生成不同數據庫方言的DDL 腳本，簡化數據庫遷移。您可以在網頁上使用ChartDB，也可以通過Docker 容器在本地部署。
NVIDIA/cuda-samples NVIDIA/cuda-samples 是一個CUDA 開發者示例項目，展示了CUDA 工具包中的各種功能。該項目支持CUDA Toolkit 12.5 版本，包含基礎示例、實用工具示例、概念和技術示例以及高級示例，涵蓋了CUDA 開發的各個方面。用戶可以通過下載CUDA Toolkit 並使用git clone 命令獲取項目代碼，然後根據平台選擇使用Visual Studio 或makefile 編譯運行示例。項目還支持跨平台編譯和調試功能，並提供詳細的文檔和示例代碼，幫助開發者快速上手CUDA 開發。
fastai/fastai 一個深度學習庫，它提供了高級組件，可以在標準深度學習領域快速輕鬆地提供最先進的結果，並為研究人員提供可以混合和匹配以構建新方法的低級組件。它旨在做到這兩件事，而不會在易用性、靈活性或性能方面做出實質性妥協。這要歸功於精心分層的架構，該架構以解耦抽象的形式表達了許多深度學習和數據處理技術的共同底層模式。這些抽象可以通過利用底層Python語言的動態性和PyTorch庫的靈活性來簡潔明了地表達。
tableau/TabPy TabPy（Tableau Python Server）是一款Tableau Analytics Extension，它允許用戶通過Tableau的表格計算執行Python腳本和保存的函數，擴展Tableau的功能。 TabPy通過REST API與Tableau交互，用戶可以在Tableau中使用Python代碼進行數據分析、機器學習等操作，並將結果可視化。 TabPy支持多種部署方式，包括本地部署、虛擬環境部署和Heroku部署，並提供詳細的文檔和教程，幫助用戶快速上手。為了安全起見，建議啟用身份驗證，以防止未經授權的訪問。
vega/vegafusion VegaFusion是一個用於Vega 可視化語法服務器端加速的項目，它可以加速Vega-Altair Python 接口與Vega-Lite 的交互。其核心算法使用Rust 實現，並通過PyO3 提供Python 集成，通過wasm-bindgen 提供JavaScript 集成。 VegaFusion 可以解決Altair 的MaxRowsError問題，通過在服務器端執行數據密集型聚合和修剪不必要的列來提高性能，從而允許用戶處理更大的數據集。用戶可以通過在Altair 中啟用"vegafusion"數據轉換器來使用VegaFusion。
snorkel-team/snorkel Snorkel是一個用於快速生成訓練數據的弱監督系統，它允許用戶通過編程方式標記、構建和管理訓練數據。 Snorkel項目起源於斯坦福大學，其核心思想是通過弱監督技術來解決機器學習項目中訓練數據不足的問題。 Snorkel已被廣泛應用於各個領域，包括醫療、金融、安全等，並已在多個知名機構得到應用。 Snorkel團隊目前正在開發Snorkel Flow，一個基於Snorkel核心思想的端到端AI應用開發平台，旨在簡化AI應用的開發和部署流程。
pytorch/captum Captum是一個用於PyTorch 的模型可解釋性和理解庫，它提供了一系列集成梯度、顯著性圖、SmoothGrad、VarGrad 等算法，幫助用戶理解模型的預測結果。 Captum 支持與torchvision、torchtext 等領域特定庫構建的模型快速集成，並提供對抗攻擊和最小輸入擾動功能，方便用戶生成反事實解釋和對抗性擾動。 Captum 的目標用戶包括希望改進模型的開發者、專注於識別可解釋性算法的研究人員以及在生產環境中使用訓練模型的應用工程師。
tensorflow/io TensorFlow I/O 是TensorFlow 的擴展，提供了TensorFlow 內置支持之外的文件系統和文件格式，例如支持HTTP/HTTPS 文件系統，可以直接訪問網絡上的數據集，無需下載到本地。它還支持多種文件格式，例如MNIST、TFRecord 等。用戶可以使用pip 安裝tensorflow-io包，並通過tfio.IODataset類訪問數據集，例如使用tfio.IODataset.from_mnist方法直接從網絡讀取MNIST 數據集。此外，TensorFlow I/O 還提供了Docker 鏡像，方便用戶快速開始使用。
fossasia/visdom Visdom是一個靈活的工具，用於創建、組織和共享實時豐富數據的可視化效果，支持Torch 和Numpy。它提供了一個基於Web 的界面，可以用來展示各種類型的圖表、圖像和文本，並支持將這些可視化效果組織成儀表板。 Visdom 旨在促進（遠程）數據的可視化，重點是支持科學實驗。它可以用於廣播可視化效果，以供自己和合作者查看，並可以用來組織可視化空間，以創建實時數據的儀表板、檢查實驗結果或調試實驗代碼。
nidhaloff/igel Igel是一個無需編寫代碼即可訓練、測試和使用機器學習模型的工具。它支持回歸、分類和聚類，並提供自動機器學習功能，例如圖像分類和文本分類。 Igel 支持多種數據集類型（csv、txt、excel、json、html），甚至可以處理存儲在文件夾中的原始數據。它還支持各種機器學習模型、數據預處理方法、交叉驗證、超參數搜索、YAML 和JSON 格式，以及GUI 使用。 Igel 的目標是讓每個人，無論技術背景如何，都能使用機器學習。
kubeflow/pipelines 機器學習（ML） 工具包，致力於使Kubernetes 上的ML 工作流部署變得簡單、可移植和可擴展。 Kubeflow 流水線是使用Kubeflow Pipelines SDK 構建的可重用的端到端ML 工作流。 Kubeflow 流水線服務具有以下目標：端到端編排，啟用和簡化端到端機器學習管道的編排；輕鬆實驗，讓您輕鬆嘗試眾多想法和技術，並管理您的各種試驗/實驗；易於重用，使您能夠重用組件和管道，以快速拼湊端到端解決方案，而無需每次都重新構建。
alibaba/Curvature-Learning-Framework 基於Tensorflow的非歐深度學習框架。實現了多種非歐流形、非歐算子和黎曼優化器，基於與Tensorflow相似的底層接口，可以便捷的遷移模型空間而不改變模型細節。背景：歐氏空間不可能無損表徵樹、環結構，然而雙曲（負曲率）、球面（正曲率）空間無損表徵。由於對結構性強的如無尺度網絡、層次數據、環狀數據等的優良表徵能力，非歐深度學習逐漸應用到各個領域並展示出優越性，包括鏈接預測、推薦系統等。
likedan/Awesome-CoreML-Models Awesome-CoreML-Models 是一個收集了大量Core ML 格式機器學習模型的項目，旨在幫助iOS、macOS、tvOS 和watchOS 開發者輕鬆使用機器學習技術。該項目提供了圖像識別、文本檢測、姿勢估計等多種模型，並包含模型下載鏈接、演示項目和相關論文鏈接，方便開發者快速上手。此外，項目還提供了一些可視化工具，例如Netron，幫助開發者更好地理解模型結構。開發者可以自由提交自己轉換的Core ML 模型，共同完善這個項目。
tensorflow/addons TensorFlow Addons(TFA) 是TensorFlow 2.x 的一個擴展庫，提供了一些TensorFlow 核心庫中沒有的額外功能，例如激活函數、回調函數、圖像處理、層、損失函數、指標、優化器、RNN、Seq2Seq 和文本處理等。 TFA 遵循TensorFlow 的API規範，並由TensorFlow SIG-addons 維護。 TFA 已經停止開發和引入新功能，並進入維護模式，預計將在2024 年5 月停止維護。建議開發者使用TensorFlow 社區中的其他庫（如Keras、Keras-CV 和Keras-NLP）來替代TFA。
rtqichen/torchdiffeq torchdiffeq是一個PyTorch 庫，提供可微分的常微分方程(ODE)求解器，支持全GPU 加速和O(1) 內存反向傳播。該庫使用伴隨方法實現ODE 解的反向傳播，從而實現恆定內存成本。求解器完全在PyTorch 中實現，因此可以在GPU 上運行。該庫提供odeint接口，用於求解初值問題(IVP)，並支持對所有主要參數進行梯度計算。此外，該庫還支持可微分的事件處理，允許根據事件函數終止ODE 解，並支持大多數求解器的反向傳播。
Guang000/Awesome-Dataset-Distillation 數據集蒸餾是合成一個小數據集的任務，使得在其上訓練的模型在原始大數據集上實現高性能。 數據集蒸餾算法將要蒸餾的大型真實數據集（訓練集）作為輸入，並輸出一個小的合成蒸餾數據集，該數據集通過在單獨的真實數據集（驗證/測試集）上在該蒸餾數據集上訓練的測試模型進行評估。 一個好的小型蒸餾數據集不僅對數據集理解有用，而且具有各種應用（例如，持續學習、隱私、神經架構搜索等）。
pyjanitor-devs/pyjanitor pyjanitor是一個Python 庫，它藉鑑了R 包janitor的理念，提供簡潔的API 用於數據清洗。它通過方法鏈的方式，將一系列數據預處理步驟串聯起來，方便用戶以更直觀的方式表達數據處理流程。例如，用戶可以使用pyjanitor刪除列、刪除空值行、重命名列、添加新列等操作，這些操作可以像語句一樣連續地執行，使得代碼更易讀、更易維護。 pyjanitor鼓勵用戶使用方法鏈，讓數據清洗過程更加清晰、高效。
DistrictDataLabs/yellowbrick Yellowbrick是一個機器學習模型選擇工具集，它通過擴展scikit-learnAPI 提供可視化診斷工具（稱為“可視化器”），幫助用戶直觀地了解模型選擇過程。 Yellowbrick 將scikit-learn 與matplotlib 相結合，生成可視化結果，幫助用戶更好地理解機器學習工作流程。 Yellowbrick 支持Python 3.4 及更高版本，依賴scikit-learn 和matplotlib，可以通過pip 或conda 安裝。用戶可以使用Yellowbrick的可視化器來分析特徵、評估模型性能等。
lmcinnes/umap 均勻流形近似和投影（UMAP ,Uniform Manifold Approximation and Projection） 是一種降維技術，可用於類似於t-SNE 的可視化，但也可用於一般的非線性降維。該算法建立在關於數據的三個假設之上：數據均勻分佈在黎曼流形上;黎曼度量是局部常數（或可以近似）;流形是本地連接的。根據這些假設，可以對具有模糊拓撲結構的流形進行建模。通過搜索具有最接近的等效模糊拓撲結構的數據的低維投影來找到嵌入。
opencog/opencog OpenCog框架是一個用於集成人工智能和人工通用智能(AGI)研究的實驗室，該項目現已不再維護，其主要部分已被拆分為多個獨立的倉庫，例如atomspace、cogserver等。 該框架曾集成自然語言處理、常識推理、多種學習算法和類人機器人運動控制等，旨在開發AGI系統，但目前代碼庫狀態參差不齊，包含一些自然語言處理管道、實體聊天機器人和動作選擇機制等組件。 感興趣的用戶應參考其拆分後的子項目。
datahub-project/datahub DataHub是一個現代數據棧的數據發現平台，由Acryl Data 和LinkedIn 共同開發。它提供了一個用於數據發現和元數據管理的平台，幫助用戶更好地理解和使用數據。 DataHub 支持多種數據源，並提供豐富的功能，例如數據搜索、數據lineage、數據質量監控等。用戶可以通過DataHub 的API 和UI 與平台交互，並使用其提供的工具進行數據分析和管理。 DataHub 擁有活躍的社區，並定期舉辦線上會議，歡迎用戶參與。
terryyz/PyArmadillo Python 語言的線性代數庫，強調易用性。該庫旨在提供類似於Matlab 或者Octave 的高級語法和功能，使得用戶以熟悉且自然的方式表達數學運算。提供了用於矩陣和多維數據集（cube）的對象，以及200 多個用於處理對像中存儲數據的相關函數。所有功能都可以在一個平面結構中訪問，並且支持整數、浮點數和復數。通過集成LAPACK 或者Intel MKL、OpenBLAS 等高性能替代產品，該庫可以提供各種矩陣分解。
Trusted-AI/AIX360 AI Explainability360 (AIX360) 是一個開源庫，用於解釋數據和機器學習模型。它包含了涵蓋不同解釋維度的算法，並提供代理可解釋性指標。 AIX360 支持表格、文本、圖像和時間序列數據。該項目還提供交互式體驗、教程和示例筆記本，幫助用戶了解其概念和功能。 AIX360 涵蓋了數據解釋、局部後驗解釋和時間序列局部後驗解釋等多種解釋方法，並支持擴展性。用戶可以貢獻自己的解釋算法、指標和用例。
ContextLab/hypertools HyperTools是一個Python工具箱，用於幫助用戶從幾何角度理解高維數據。它通過將高維數據集（或一系列高維數據集）輸入到單個函數調用中，來降低數據集的維度並創建可視化圖形。 HyperTools基於matplotlib、scikit-learn和seaborn等常用庫，並提供完整的API文檔和示例。用戶可以通過pip安裝HyperTools，並使用其提供的功能進行數據可視化和分析。 HyperTools已發表在JMLR期刊上，並提供相應的論文和示例筆記本。
neptune-ai/neptune-client neptune.ai 是一個可擴展的實驗跟踪器，專為訓練基礎模型的團隊而設計。它可以記錄數百萬次運行，並以秒為單位查看和比較它們。輕鬆監控和可視化持續數月的模型訓練，包括多個步驟和分支。從第一天起就在您的基礎設施上部署Neptune，跟踪100% 的元數據，並更快地實現下一個重大AI 突破。該項目提供了Python 庫，允許您輕鬆地將實驗數據記錄到Neptune 平台，並提供豐富的可視化和分析功能。
csinva/imodels imodels是一個用於構建簡潔、透明且準確的預測模型的Python 包，它與scikit-learn 兼容。該包提供了一系列可解釋的機器學習模型，這些模型可以替代黑盒模型（如隨機森林），同時提高可解釋性和計算效率，而不會犧牲預測精度。 imodels 的模型包括決策樹、規則列表和線性模型，這些模型都易於使用，只需導入模型並使用fit和predict方法即可。該包還包含用於數據預處理和模型評估的工具。
catalyst-team/catalyst Catalyst是一個基於PyTorch 的深度學習研究和開發框架，它專注於可重複性、快速實驗和代碼庫重用，幫助你專注於創新，而不是重複編寫訓練循環。 Catalyst 提供了豐富的功能，包括：可視化、日誌記錄、模型保存和加載、數據增強、分佈式訓練、超參數優化等。它還支持多種深度學習任務，例如圖像分類、目標檢測、語義分割等。 Catalyst 旨在簡化深度學習研究和開發流程，加速你的研究進度。
mpld3/mpld3 mpld3是一個使用D3.js將matplotlib圖形帶到瀏覽器中的交互式數據可視化工具。它通過解析matplotlib圖形並輸出D3.js可讀的JSON描述來實現，並提供一個自定義的獨立javascript庫來渲染圖形。 mpld3支持matplotlib的大部分核心功能，包括線圖、散點圖、直方圖、餅圖等，並提供交互式功能，例如縮放、平移、工具提示等。用戶可以通過簡單的Python代碼將matplotlib圖形轉換為交互式的網頁視圖，並與他人分享。
Kanaries/Rath RATH是一款開源數據探索分析和可視化平台，旨在替代Tableau 等工具。它通過增強分析引擎自動執行探索性數據分析工作流程，發現模式、洞察和因果關係，並使用強大的自動生成的多維數據可視化來呈現這些洞察。 RATH 基於最小化可視化中信息的可視感知誤差來生成/推薦可視化。用戶可以通過沙盒演示、文檔和視頻快速上手。主要功能包括自動數據探索、數據探索副駕駛和自然語言界面等。
xflr6/graphviz 該項目是一個簡單易用的Python 接口，用於與Graphviz 圖形繪製軟件交互。它允許用戶使用Python 代碼創建和渲染DOT 格式的圖形描述，並可直接將生成的圖形以PDF、PNG、SVG 等格式進行查看。用戶可以通過添加節點和邊來構建圖形，並獲取其DOT 源代碼字符串，然後將其保存到文件並使用系統上的Graphviz 安裝進行渲染。此外，該項目還支持在Jupyter Notebook 和Jupyter QtConsole 中渲染和顯示圖形。
nicodv/kmodes kmodes是一個Python 庫，用於對分類數據進行聚類，實現了k-modes和k-prototypes 聚類算法。它基於numpy 庫，並提供了與scikit-learn 類似的接口。 k-modes 用於對分類變量進行聚類，根據數據點之間匹配的類別數量來定義聚類。 k-prototypes 結合了k-modes 和k-means，能夠對混合的數值/分類數據進行聚類。該庫實現了k-modes、基於密度的k-modes 初始化和k-prototypes 算法，並支持使用joblib 庫進行並行計算。
astroML/astroML AstroML是一個基於Python 的機器學習和數據挖掘庫，專為天文學和天體物理學設計，它利用NumPy、SciPy、Scikit-learn 和Matplotlib 等庫，並遵循BSD 許可證。 AstroML 提供了豐富的統計和機器學習算法，用於分析天文數據，包含多個天文數據集加載器，以及大量用於分析和可視化天文數據的示例。該項目始於2012 年，旨在配合Zeljko Ivezic 等人撰寫的《天文學中的統計學、數據挖掘和機器學習》一書。
AutoViML/Auto_ViML Auto_ViML是一個自動機器學習庫，只需一行代碼即可構建多個可解釋的機器學習模型。它能幫助你進行數據清理，並自動選擇最少特徵構建高性能模型。 Auto_ViML 使用SULOV 算法自動去除高度相關的特徵，並通過Auto_NLP 處理文本變量，同時還支持日期時間變量的處理。此外，它還包含imbalanced_ensemble庫，可以處理不平衡數據集。 Auto_ViML 的目標是幫助數據科學家快速構建可解釋且高效的模型。
edwindj/daff Daff是一個R 包，用於比較、存儲、渲染和應用data.frame之間的差異，並基於共同父級data.frame合併兩個版本。它使用daff.js 庫，並通過V8 包進行封裝。 Daff 提供了diff_data 、 patch_data 、 read_diff 、 write_diff 、 render_diff和merge_data等函數，可用於計算差異、應用補丁、讀取和寫入差異文件、渲染差異為HTML 頁面以及合併兩個data.frame 。
neoml-lib/neoml NeoML是一個端到端的機器學習框架，支持深度學習和傳統算法，由ABBYY工程師用於計算機視覺和自然語言處理任務，包括圖像預處理、分類、文檔佈局分析、OCR和結構化/非結構化文檔數據提取。它支持超過100種神經網絡層類型、20多種傳統機器學習算法（分類、回歸、聚類等）、CPU和GPU加速、ONNX支持，並提供Python、C++、Java和Objective-C接口，可在Windows、Linux、macOS、iOS和Android等平台上運行。
shogun-toolbox/shogun Shōgun是一個統一且高效的機器學習工具箱，自1999年起一直致力於機器學習領域。它提供C++核心代碼，並通過自動生成的接口支持Python、Octave、Java/Scala、Ruby、C#、R、Lua等多種語言，目前正在開發JavaScript、D和Matlab接口。 Shōgun支持GNU/Linux、MacOSX、FreeBSD和Windows等多種平台，並提供BSD 3-clause許可證，包含可選的GPL3組件。用戶可以通過官網獲取安裝指南、接口調用說明、API示例和開發者信息。
OAID/Tengine Tengine是一個輕量級、高性能、模塊化的推理引擎，專為嵌入式設備設計。它由OPEN AI LAB 開發，提供深度學習神經網絡模型在嵌入式設備上的快速、高效執行能力。 Tengine 主要由三個模塊組成：device、scheduler 和operator，分別負責底層硬件操作、模型調度和神經網絡算子執行。 Tengine 支持CPU、GPU、NPU 等多種硬件平台，並針對嵌入式設備的資源限制進行了優化，能夠有效提升模型推理效率。
koaning/scikit-lego scikit-lego是一個為scikit-learn 提供額外功能的Python 庫，它包含自定義的轉換器、度量指標和模型，旨在簡化機器學習工作流程。該庫提供各種數據集加載器、數據處理工具、虛擬模型和線性模型，例如用於公平性約束的DemographicParityClassifier，以及用於時間序列分析的add_lags 函數。你可以像使用scikit-learn 一樣使用scikit-lego 中的組件，通過pip 或conda 安裝，並參考其文檔了解更多信息。
aloctavodia/Statistical-Rethinking-with-Python-and-PyMC3 該項目是Richard McElreath 所著書籍"Statistical Rethinking: A Bayesian Coursewith Examples in R and Stan" 中示例的Python/PyMC3 版本。它將書中的R 和Stan 代碼移植到PyMC3，並儘可能保持原書的示例，同時以更Pythonic 和PyMC3onic的方式表達。該項目已棄用，建議訪問https://github.com/pymc-devs/resources/tree/master/Rethinking 獲取更新、提交問題或發送拉取請求。
SMPyBandits/SMPyBandits SMPyBandits是一個開源的Python庫，用於單人和多人多臂老虎機（MAB）算法的研究。它包含了最全面的單人（經典）老虎機算法集合，以及所有最先進的多人算法的實現。該庫積極跟踪MAB研究的最新出版物，并快速實現新算法，例如Exp3++、CORRAL、SparseUCB、LearnExp和kl-UCB++。 SMPyBandits提供完整的Sphinx生成的文檔，並提供基於Airspeed Velocity的廣泛基準測試結果。該庫已發佈到PyPI，並可通過pip安裝。
riga/tfdeploy tfdeploy是一個輕量級的庫，用於將TensorFlow模型部署到無法運行TensorFlow的環境中，它使用NumPy進行快速評估，並可以將模型保存到磁盤，以便在沒有TensorFlow的環境中加載和使用。 tfdeploy不需要TensorFlow進行評估，僅依賴NumPy，可以加載一個或多個模型，並且比使用TensorFlow的Tensor.eval更快。該項目不再積極維護，但代碼庫仍然可用，作為大多數構成現代機器學習領域核心內核的參考實現。
intel/scikit-learn-intelex Intel(R)Extension for Scikit-learn 是一個免費的AI 加速器，可以將您的現有scikit-learn 代碼加速10-100倍。它利用向量指令、AI 硬件特定內存優化、線程和針對所有即將推出的英特爾平台的優化來實現軟件加速。該擴展可以集成到您的現有scikit-learn 應用程序中，無需代碼修改，並繼續使用開源scikit-learn API。您可以通過幾行代碼或在命令行中啟用和禁用該擴展。它還包含在Intel(R) AI 工具中。
mlrun/mlrun MLRun是一個開源MLOps 平台，用於快速構建和管理持續的機器學習應用程序及其生命週期。 MLRun 集成到您的開發和CI/CD 環境中，並自動化生產數據、機器學習管道和在線應用程序的交付。 MLRun 顯著減少了工程工作量、生產時間和計算資源。使用MLRun，您可以選擇本地機器或云上的任何IDE。 MLRun 打破了數據、機器學習、軟件和DevOps/MLOps 團隊之間的隔閡，從而實現協作和快速持續改進。
SebKrantz/collapse collapse是一個基於C/C++ 的R 包，用於數據轉換和統計計算，旨在簡化R 中復雜的數據轉換、探索和計算任務，並使R 代碼更快、更靈活、更簡潔、更易於編程。它支持多種數據類型，包括base R、tibble、grouped_df、data.table、sf、units、pseries、pdata.frame、xts/zoo 和變量標籤。主要功能包括：高級統計編程、快速數據操作、高級聚合、高級轉換、高級時間計算、列表處理、高級數據探索等。
argmaxinc/WhisperKit WhisperKit是一個Swift 包，它將OpenAI 的流行語音識別模型Whisper 與Apple的CoreML 框架集成，以便在Apple 設備上進行高效的本地推理。它允許您在設備上進行語音識別，而無需將數據發送到雲端。您可以使用Swift Package Manager 將WhisperKit 集成到您的Swift 項目中，並通過簡單的API 使用它來轉錄音頻文件或實時音頻流。 WhisperKit 還提供了一個命令行界面，您可以使用它來生成和管理模型。
unifyai/ivy Ivy 是一個開源機器學習框架，使您能夠：自動調整模型：使用ivy. autotune 自動查找適合您特定用例的最佳框架、編譯器基礎結構和硬件。將代碼轉換為任何框架：通過使用ivy.transpile 將任何代碼從一個框架轉換為另一個框架，在任何模型、庫或設備的基礎上使用和構建。編寫與框架無關的代碼：在ivy 中編寫一次代碼，然後選擇最合適的ML 框架作為後端，以利用所有優勢和工具。
tensorflow/datasets TensorFlow Datasets(TFDS) 是一個用於TensorFlow、Jax 等框架的公共數據集集合，它提供易於使用的tf.data.Datasets 。 TFDS遵循簡單性、性能、確定性和可定制性等核心價值觀，並提供詳細的文檔、教程和API 參考。用戶可以通過tfds.load函數加載數據集，並使用tf.data API 構建輸入管道。此外，TFDS 還允許用戶添加新的數據集，並提供數據集請求功能，方便用戶投票選擇他們想要的數據集。
unslothai/hyperlearn Hyperlearn是一個機器學習算法庫，它能夠使算法速度提升2-2000倍，並減少50%的內存使用，同時兼容所有硬件。該項目由NVIDIA前員工Daniel Hanchen開發，其算法和方法已被應用於多個組織和項目，包括Facebook的Pytorch、Scipy、Cupy、NVIDIA和UNSW。 Hyperlearn的特色在於其高效的算法，例如TSNE算法，它能夠將運行時間從數小時縮短至數秒。該項目目前正在開發中，預計將於2022年發布穩定版本。
SALib/SALib SALib是一個Python 庫，用於執行敏感性分析，包含Sobol、Morris、FAST 等多種方法。它可以幫助用戶分析模型輸入或外部因素對模型輸出的影響。 SALib 提供了多種方法，包括Sobol 方法、Morris 方法、FAST 方法、Delta 方法、DGSM 方法、Fractional FactorialSensitivity Analysis、HDMR 方法、PAWN 方法和Regional Sensitivity Analysis。用戶可以通過pip 安裝SALib 庫，並使用其提供的示例代碼快速開始使用。
pavlin-policar/openTSNE openTSNE是一個模塊化的Python實現，用於t-分佈隨機鄰域嵌入（t-SNE）算法，該算法是一種流行的高維數據可視化降維算法。 openTSNE包含了t-SNE算法的最新改進，包括將新數據點添加到現有嵌入的能力、大幅提升速度、支持對數百萬個數據點進行t-SNE，以及各種技巧來改善結果可視化的全局對齊。該項目提供詳細的文檔、用戶指南、教程和示例，並支持從conda-forge或PyPi進行安裝。
amueller/dabl dabl是一個數據分析基礎庫，它專注於探索性可視化和預處理，並提供GridSearchCV 和RandomizedSearchCV 的替代方案，使用連續減半方法進行模型搜索。它還包含類似於Auto-sklearn 的模型組合，快速搜索不同梯度提升模型、樹集成和核方法。 dabl 提供方便的預處理和模型搜索功能，並通過可視化快速概述數據。它與Lux 和Pandas Profiling 等其他數據分析庫互補，提供了不同的功能。
explosion/thinc Thinc是一個輕量級的深度學習庫，提供了一個優雅、類型檢查、函數式編程的API 用於模型組合，並支持PyTorch、TensorFlow 和MXNet等框架定義的層。 Thinc 可以作為接口層、獨立工具包或靈活的開發新模型的方式。 Thinc 的主要特點包括類型檢查、支持PyTorch、TensorFlow 和MXNet 模型、簡潔的函數式編程模型定義方式、可選的自定義中綴符號、集成的配置系統、可擴展的後端等。
tensorflow/model-optimization TensorFlow模型優化工具箱是一個用於優化機器學習模型的工具集，支持量化和剪枝等技術，幫助用戶將模型部署到各種平台。該工具箱提供了專門為Keras 設計的API，並提供穩定的Python API。用戶可以參考TensorFlow 模型優化官方網站獲取項目概述、工具介紹、優化收益以及路線圖等信息。該項目遵循TensorFlow 的貢獻指南和行為準則，並使用GitHub Issues 來跟踪請求和錯誤。
patrick-kidger/equinox Equinox是一個基於JAX 的庫，提供PyTorch 風格的易用神經網絡定義、過濾API、PyTree 操作和運行時錯誤等功能，並與JAX 生態系統中的其他庫兼容。它不是一個框架，而是提供構建模型的工具，模型可以輕鬆地與JAX 的其他功能（如JIT、梯度等）集成。 Equinox 提供了PyTorch 風格的語法來定義模型，並與JAX 的操作（如JIT、梯度等）完全兼容，方便用戶構建和訓練神經網絡。
ropensci/targets targets是一個類似Make 的R 包，用於構建數據科學和統計分析的管道，它可以自動執行任務、並行計算，並抽象文件為R 對象。 targets 的核心思想是通過定義目標（target）來組織分析流程，每個目標對應一個R 函數，並返回一個R 對象。 targets 會自動管理目標之間的依賴關係，並只執行必要的操作，從而提高效率和可重複性。 targets 還支持並行計算，可以加速分析過程。
geomstats/geomstats Geomstats是一個用於在流形上進行計算、統計、機器學習和深度學習的Python包。它包含兩個主要模塊：geometry和learning。 geometry模塊實現了微分幾何，包括流形、李群、纖維叢、形狀空間、信息流形、黎曼度量等。 learning模塊實現了用於流形上數據的統計和學習算法。用戶可以選擇NumPy、Autograd或PyTorch作為後端。該項目提供豐富的文檔、教程和示例，並積極維護社區互動。
graphistry/pygraphistry PyGraphistry是一個開源Python庫，幫助數據科學家和開發者利用圖形可視化、分析和AI的力量，並利用GPU加速。它允許您快速加載和準備各種格式、形狀和規模的數據，並將其轉換為圖形，同時利用Pandas、Spark、RAPIDS (GPU)和Apache Arrow等工具。 PyGraphistry還與Amazon Neptune、cuGraph、Databricks、graphviz、Neo4j、Splunk、TigerGraph等多種工具集成，並提供大量示例和教程，幫助您快速上手。
lebedov/scikit-cuda scikit-cuda是一個Python 庫，提供對NVIDIA CUDA 編程工具包中CUDA 設備/運行時、CUBLAS、CUFFT 和CUSOLVER 庫的接口，以及對CULA Dense Toolkit 中部分函數的接口。它提供類似於C 語言的低級包裝函數，以及類似於NumPy 和Scipy的高級函數。該項目提供完整的文檔，包含示例和演示，並支持多種平台和版本。用戶可以在GitHub 上提交問題和反饋，並通過引用該項目進行學術出版。
scikit-learn-contrib/category_encoders category_encoders是一個與scikit-learn兼容的庫，提供多種方法將分類變量編碼為數值型，方便機器學習模型使用。它包含無監督和監督兩種類型的編碼方法，無監督方法包括One-Hot、Ordinal等，監督方法包括Target Encoding、LeaveOneOut等。該庫支持numpy數組和pandas數據框作為輸入，並提供可配置的選項。用戶可以通過pip或conda安裝該庫，並使用其提供的編碼器進行數據預處理。
microsoft/CNTK 統一的深度學習工具包，它通過有向圖將神經網絡描述為一系列計算步驟。在此有向圖中，葉節點表示輸入值或網絡參數，而其他節點表示輸入的矩陣運算。 CNTK允許用戶輕鬆實現和組合常用模型類型，例如前饋DNN、卷積網絡（CNN） 和循環網絡（RNN/LSTM） 。它實現了隨機梯度下降（SGD，誤差反向傳播）學習，並在多個GPU 和服務器之間實現了自動微分和並行化。
pditommaso/awesome-pipeline 這是一個精心整理的管道工具包列表，靈感來自Awesome Sysadmin 項目。它包含了各種框架和庫，用於構建、管理和執行數據處理、機器學習、CI/CD 等任務的流程。例如，Airflow 是一個基於Python 的工作流系統，Argo Workflows 是一個容器原生工作流引擎，Cromwell 是一個面向科學工作流的管理系統，等等。該列表還包括一些專門用於生物信息學、高性能計算等領域的工具。
mit-han-lab/tinyengine TinyEngine是一個針對微控制器的內存高效且高性能的神經網絡庫，是MCUNet的一部分，MCUNet是一個用於微控制器上的微型深度學習的系統-算法協同設計框架。 TinyEngine和TinyNAS共同設計以適應嚴格的內存預算，項目特色包括：內存高效、高性能、支持微控制器上的深度學習，並提供推理和訓練演示。 MCUNetV1、MCUNetV2和MCUNetV3分別在NeurIPS2020、NeurIPS 2021和NeurIPS 2022上發表。
inducer/pycuda PyCUDA是一個Python 庫，它允許你從Python 中訪問Nvidia 的CUDA 並行計算API。它提供了一些獨特的功能，例如自動資源管理（RAII），簡化了CUDA 編程，並提供了完整的CUDA 驅動程序API 訪問，以及與OpenGL 的互操作性。 PyCUDA 還提供自動錯誤檢查和C++ 編寫的底層，以確保速度和效率。此外，它還擁有完善的文檔，並與PyOpenCL 項目相關聯，為OpenCL 提供類似的功能。
dougbrion/pytorch-classification-uncertainty 該項目是一個基於PyTorch 的開源實現，用於量化分類不確定性，它基於論文“Evidential Deep Learning to Quantify Classification Uncertainty”。該項目使用狄利克雷分佈對類概率進行建模，將神經網絡的預測視為主觀意見，並通過確定性神經網絡從數據中學習證據收集函數，從而實現對預測不確定性的顯式建模。該方法在檢測非樣本查詢和對抗性擾動方面取得了顯著成果。
snakemake/snakemake Snakemake是一個用於創建可重複且可擴展的數據分析工作流程的工具，它使用易於理解的Python 語言描述工作流程，並能無縫擴展到服務器、集群、網格和雲環境，無需修改工作流程定義。 Snakemake 還支持描述所需軟件，並自動部署到任何執行環境。 Snakemake 非常受歡迎，2021 年平均每周有超過7 次新的引用，下載量接近40 萬次。項目主頁：https://snakemake.github.io。
chainer/chainer Chainer是一個靈活的基於Python的深度學習框架，旨在提供靈活性。它使用define-by-run方法（也稱為動態計算圖）提供自動微分API，以及面向對象的、高級的API來構建和訓練神經網絡。它還使用CuPy支持CUDA/cuDNN，以實現高性能訓練和推理。有關Chainer的更多詳細信息，請參閱上面列出的文檔和資源，並加入論壇、Slack和Twitter上的社區。
huggingface/autotrain-advanced AutoTrain Advanced是一個無需代碼的機器學習模型訓練和部署工具，只需點擊幾下即可訓練模型。它支持在Google Colab 或Hugging Face Spaces 上運行，並提供本地安裝選項。 AutoTrain Advanced 可以使用配置文件進行命令行訓練，並提供示例配置文件。此外，它還提供針對特定任務的Colab 示例，例如LLM 微調和DreamBooth 訓練。項目文檔可在https://hf.co/docs/autotrain/ 找到。
spyder-ide/spyder Spyder是一個開源的科學Python 開發環境，它提供了一個用戶友好的界面，用於編寫、運行和調試Python 代碼。 Spyder 集成了許多有用的功能，例如代碼自動補全、語法高亮、代碼調試、變量瀏覽器和交互式控制台，以幫助用戶更高效地進行科學計算和數據分析。 Spyder 基於Qt 框架構建，並使用Python 語言編寫，它可以運行在Windows、macOS 和Linux 操作系統上。
dfm/emcee emcee是一個穩定、經過良好測試的Python 庫，實現了Goodman & Weare(2010) 提出的用於馬爾科夫鏈蒙特卡羅(MCMC) 的仿射不變係綜採樣器。該代碼是開源的，已在多個已發表的天體物理學文獻項目中使用。 emcee 的文檔可以在emcee.readthedocs.io 上找到，並鼓勵在研究中使用該代碼的用戶引用Foreman-Mackey 等人(2012) 的論文。 emcee 是根據MIT 許可證發布的免費軟件。
ropensci/drake drake是一個專注於R 語言的管道工具包，用於提高可重複性和高性能計算。它可以幫助你構建、管理和執行數據分析管道，並自動處理依賴關係，確保結果的準確性和可重複性。 drake 已經被targets包取代， targets包功能更強大，使用更便捷。你可以訪問https://books.ropensci.org/targets/drake.html 獲取更多信息和遷移建議。
8080labs/pyforest pyforest是一個Python庫，能自動導入常用的數據科學庫，無需手動編寫import語句。它在Jupyter Notebook中工作，在你使用某個庫時自動導入並將其添加到第一個單元格，未使用則不導入，方便快捷地進行數據分析，提高效率，支持pandas、numpy、matplotlib、seaborn等眾多庫。安裝方法為pip install --upgrade pyforest及python -m pyforest install_extensions ，並重啟Jupyter服務器。
pydata/patsy Patsy是一個Python庫，用於描述統計模型（特別是線性模型或具有線性成分的模型）並構建設計矩陣。它將R語言中的公式語法引入Python，方便用戶使用公式來描述模型。 Patsy不再積極開發，但目前仍可使用。用戶可考慮遷移到其繼承項目Formulaic。 Patsy依賴於Python、six、numpy等庫，並可選依賴於pytest/pytest-cov和scipy。用戶可以使用pip install patsy命令安裝該庫。
NexaAI/nexa-sdk Nexa SDK是一個支持ONNX 和GGML 模型的綜合工具包，支持文本生成、圖像生成、視覺語言模型(VLM)、自動語音識別(ASR) 和文本轉語音(TTS) 功能。它提供一個與OpenAI 兼容的API 服務器，支持JSON 模式函數調用和流支持，並提供一個用戶友好的Streamlit UI。 Nexa SDK 支持CUDA、Metal 和ROCm 等GPU 加速，可運行在任何具有Python 環境的設備上，並提供可執行版本。
amaiya/ktrain ktrain是一個輕量級的Python 庫，它簡化了深度學習和AI的應用，旨在讓新手和經驗豐富的從業者都能輕鬆使用。 ktrain 基於TensorFlow Keras，提供了預訓練模型，可以輕鬆處理文本、圖像、圖和表格數據，例如文本分類、文本回歸、序列標註（NER）、句子對分類、無監督主題建模等任務。它還支持快速、準確的模型訓練和部署，並提供豐富的示例和教程。
mirage-project/mirage Mirage 是一個通過超級優化技術自動為PyTorch 程序生成快速GPU 內核的工具。例如，要獲得用於注意力的快速GPU 內核，用戶只需編寫幾行Python 代碼來描述注意力的計算。對於給定的PyTorch 程序，Mirage 會自動搜索功能上與輸入程序等效的潛在GPU 內核空間，並發現高度優化的候選內核。這種方法使Mirage 能夠找到優於現有專家設計內核的新定制內核。
spfrommer/torchexplorer TorchExplorer是一個用於交互式檢查PyTorch模型的工具，可以方便地查看模型的輸入、輸出、參數和梯度信息。它可以與Weights & Biases（WandB）集成，也可以作為獨立的工具使用。用戶只需在訓練循環中調用torchexplorer.watch()方法，即可在訓練過程中實時查看模型的內部狀態。 TorchExplorer還提供了交互式的模型結構視圖，方便用戶了解模型的結構和參數。
nalepae/pandarallel Pandarallel 是一個簡單高效的工具，可以利用所有可用的CPU 並行化Pandas 操作。只需修改一行代碼即可實現並行化，並提供進度條顯示。該項目正在尋找維護者，感興趣的用戶可以聯繫項目作者或在GitHub 上創建問題。安裝方法為pip install pandarallel ，使用時只需將df.apply(func)替換為df.parallel_apply(func)即可。項目文檔提供詳細的使用示例和說明。
vega/altair Vega-Altair是一個用於Python 的聲明式統計可視化庫，它基於強大的Vega-Lite JSON 規範，提供簡單易用的API，幫助你快速創建美觀且有效的可視化圖表。你可以在JupyterLab、Jupyter Notebook、Visual Studio Code 等環境中使用它，並導出為PNG/SVG 等格式。 Vega-Altair 的獨特之處在於它不僅支持可視化，還支持交互，例如使用刷選工具過濾散點圖並聯動更新直方圖。
lyhue1991/torchkeras torchkeras是一個易於使用的PyTorch 模型訓練工具，它提供簡潔的代碼結構，方便用戶快速構建、訓練和評估模型。它藉鑑了Keras 的設計理念，提供類似的API，簡化了模型構建和訓練過程，同時保留了PyTorch 的靈活性和性能。 torchkeras旨在簡化模型訓練，並提供常用的功能，例如模型構建、訓練、評估、可視化等，方便用戶快速上手PyTorch 模型訓練。
JuliaLang/IJulia.jl IJulia是Julia語言的Jupyter內核，允許用戶在Jupyter Notebook（或JupyterLab等）交互式環境中使用Julia編程語言。它結合了Julia的強大功能和Jupyter的交互式筆記本功能，支持代碼、文本、數學公式和多媒體的整合。 IJulia可與多種Jupyter用戶界面配合使用，並提供便捷的安裝和啟動方式，用戶可選擇自行安裝Jupyter或讓IJulia創建和管理其自身的Python/Jupyter安裝。
Kaggle/kaggle-api Kaggle API是Kaggle 網站的官方API，使用Python 3 實現，可以通過命令行工具訪問。用戶可以通過安裝kaggle包來使用API，並通過環境變量或配置文件設置API 憑據。 API 提供了多種功能，例如列出模型、獲取數據集等。開發者可以通過修改src/目錄下的代碼，並使用hatch工具編譯和運行代碼，還可以進行集成測試。 Kaggle API 遵循Apache 2.0 許可證。
google/ml-metadata ML Metadata (MLMD) 是一個用於記錄和檢索與機器學習開發人員和數據科學家工作流程相關的元數據的庫。它支持在各種平台上運行，包括macOS、Ubuntu 和Windows。 MLMD 可以通過PyPI 安裝，也可以從源代碼構建。 MLMD 提供了記錄和檢索元數據的API，可以幫助用戶跟踪模型訓練、數據預處理、特徵工程等過程中的關鍵信息，方便進行模型管理、調試和分析。
arviz-devs/arviz ArviZ是一個Python 包，用於對貝葉斯模型進行探索性分析，包含後驗分析、數據存儲、模型檢驗、比較和診斷等功能。它提供豐富的繪圖功能，例如森林圖、小提琴圖、後驗預測圖等，幫助用戶直觀地理解模型結果。 ArviZ還支持Julia 語言，並提供詳細的文檔和示例。用戶可以通過pip 或conda 安裝ArviZ，並使用其豐富的功能進行貝葉斯模型分析。
gstoica27/ZipIt ZipIt!是一個無需額外訓練就能將不同初始化、解決不同任務的模型合併成一個多任務模型的框架。該項目提供了用於合併預訓練模型的代碼，支持多種模型架構和數據集，包括ResNet、VGG、SinGAN 等。用戶可以通過配置文件選擇實驗設置，並利用提供的評估腳本進行模型評估。該項目還支持自定義模型架構，用戶可以根據自己的需求進行擴展。
SeldonIO/seldon-core MLOps 框架，用於打包、部署、監視和管理數千個生產機器學習模型。 Seldon core 將您的ML 模型（Tensorflow、Pytorch、H2o 等）或語言包裝器（Python、Java 等）轉換為生產REST/GRPC 微服務。 Seldon 可處理擴展到數千個生產機器學習模型，並提供開箱即用的高級機器學習功能，包括高級指標、請求日誌記錄、解釋器、異常值檢測器、A/B 測試、金絲雀等。
jason718/awesome-self-supervised-learning 該項目是一個關於自監督學習的資源列表，涵蓋了理論、計算機視覺、機器學習、機器人、自然語言處理、自動語音識別、時間序列、圖、演講、論文和博客等方面。項目特色在於其對自監督學習方法的分類整理，並提供相關論文和代碼鏈接。該項目旨在為研究人員和開發者提供一個方便的資源庫，幫助他們了解和應用自監督學習技術。
bethgelab/foolbox Foolbox是一個Python庫，用於對機器學習模型（如深度神經網絡）進行對抗性攻擊測試，它基於EagerPy，並原生支持PyTorch、TensorFlow和JAX模型。 Foolbox 3採用EagerPy重寫，提供原生性能，支持批處理，包含大量最先進的基於梯度和決策的對抗性攻擊方法，並通過類型檢查幫助開發者避免代碼錯誤。用戶可以通過官方指南、教程和API文檔快速上手。
baal-org/baal Baal是一個用於研究和工業應用的貝葉斯主動學習庫，它支持多種主動學習方法，包括蒙特卡洛丟棄、MCDropConnect、深度集成和半監督學習。 Baal旨在幫助用戶更有效地訓練機器學習模型，通過主動選擇需要標註的數據點來減少標註成本。該庫提供詳細的文檔和教程，並已在多個研究論文中得到應用。 Baal最初由ElementAI開發，現已獨立運營。
marcharper/python-ternary python-ternary是一個基於matplotlib 的Python 庫，用於繪製三元圖。它提供繪製投影線、曲線（軌跡）、散點圖和熱圖等功能，並支持多種matplotlib 關鍵字參數，例如linestyle。該庫包含多個示例和教程，可以幫助用戶快速上手。用戶可以使用TernaryAxesSubplot類創建三元坐標軸對象，並使用類似於matplotlib 的AxesSubplot 對象的方法進行繪圖。
biolab/orange3 Orange是一個面向新手和專家的數據挖掘和可視化工具箱。它使用工作流方式，無需編程或深入的數學知識，讓數據科學變得更易懂。用戶只需擁有數據或有探索數據的意願，就能使用Orange進行數據分析。 Orange可以通過官方網站下載安裝，也可以使用conda或pip進行安裝。安裝完成後，運行orange-canvas或python3 -m Orange.canvas即可啟動Orange。
online-ml/river River是一個用於Python 在線機器學習的庫，旨在成為處理流式數據的機器學習最友好的庫。 River 是由creme 和scikit-multiflow合併而成的。它允許您在數據流上進行預測和模型更新，並提供各種機器學習模型、預處理方法和評估指標，例如，您可以使用River 訓練一個邏輯回歸模型來對網站釣魚數據集進行分類，並實時評估模型的準確率。
soulmachine/machine-learning-cheat-sheet 該項目是一個機器學習公式和圖表速查表，包含許多經典的機器學習公式和圖表，可以幫助你快速回憶機器學習知識和概念，也適合準備機器學習相關面試的人使用。項目提供了PDF 下載鏈接，以及使用Docker 和Windows 環境編譯LaTeX 模板的詳細步驟。該項目基於Springer LaTeX 模板，並提供詳細的編譯步驟，方便用戶自行編譯和修改。
albermax/innvestigate iNNvestigate是一個用於分析神經網絡預測的工具箱，它提供了一個通用接口和開箱即用的實現，可以幫助你輕鬆地分析神經網絡的預測結果。 iNNvestigate支持多種分析方法，例如Saliency、Deconvnet、GuidedBackprop、SmoothGrad、IntegratedGradients、LRP、PatternNet和PatternAttribution，並提供了一份論文用於引用。它基於Keras和TensorFlow 2，可以通過pip安裝。
tensorflow/hub TensorFlow Hub是一個用於遷移學習的庫，它允許開發者重用TensorFlow 模型的部分組件。該庫已遷移至Kaggle Models，用戶可通過KaggleModels 訪問和使用TensorFlow Hub 模型。該庫支持加載之前上傳至tfhub.dev 的模型，並建議將tfhub.dev 鏈接替換為Kaggle Models 鏈接，以提高代碼健壯性和可調試性。一些未遷移的模型資產已被刪除，無法再獲取。
prismformore/Multi-Task-Transformer 該項目包含兩個強大的多任務Transformer模型，分別為TaskPrompter和InvPT，用於場景理解。 TaskPrompter模型利用空間-通道多任務提示機制，在ICLR 2023上發表。 InvPT模型採用倒金字塔結構，在ECCV 2022上發表。這兩個模型都取得了較好的性能，並在Cityscapes數據集上取得了SOTA結果。該項目提供代碼和模型，並包含詳細的介紹和引用信息。
labmlai/labml Labml 是一個開源工具，可以幫助你從手機或筆記本電腦上監控深度學習模型訓練和硬件使用情況。它只需兩行代碼即可集成到你的項目中，並提供漂亮的訓練進度日誌。 Labml 還可以跟踪實驗信息，例如Git 提交、配置和超參數。你可以在任何電腦上使用一個命令來監控硬件使用情況，並使用Labml 的API 創建自定義可視化。
MarquezProject/marquez Marquez是一個開源的元數據服務，用於收集、聚合和可視化數據生態系統的元數據。它維護數據集的消費和生產來源，提供對作業運行時和數據集訪問頻率的全局可見性，集中化數據集生命週期管理等等。 Marquez 由WeWork 發布並開源。它支持使用OpenLineage 收集和查看數據集、作業和運行元數據，並提供Docker 快速入門指南。
pymc-devs/sunode Sunode是一個Python 庫，用於快速求解常微分方程(ODE)，並支持PyMC。它利用Sundials 庫中的ADAMS 和BDF求解器，以及它們對求解伴隨ODE 的支持來計算解的梯度。 Sunode 可以通過sympy 自動生成函數的抽象語法樹，並使用numba 編譯它們，從而避免Python 的開銷。 Sunode 還提供了一個PyTensor 包裝器，以便使用PyMC 估計ODE 的參數。
apache/mahout ApacheMahout是一個用於快速創建可擴展、高性能機器學習應用程序的環境。它旨在構建可擴展的機器學習應用，項目主頁為http://mahout.apache.org/。 目前該項目鏡像包含一個名為QuMat的子項目，這是一個用於與多個量子計算後端交互的高級Python庫的原型，旨在易於使用並抽象每個後端的特性，實現“一次編寫，隨處運行”。
bambinos/bambi Bambi是一個用Python 編寫的用於構建貝葉斯模型的高級接口，基於PyMC 概率編程框架。它旨在簡化使用貝葉斯方法擬合社會科學領域常見的混合效應模型。 Bambi 可以通過pip 安裝，並依賴於ArviZ、formulae、NumPy、pandas 和PyMC。 Bambi 提供了簡單的接口來構建模型，例如線性回歸模型，並使用ArviZ 進行結果分析和可視化。
t-makaro/animatplot animatplot是一個基於matplotlib 的Python 包，用於創建交互式動畫圖表。它支持使用滑塊控制動畫，並提供多種動畫效果。 animatplot需要Python 3.8 及以上版本和Matplotlib 2.2 及以上版本。可以使用pip 或conda 安裝。項目文檔可以在https://animatplot.readthedocs.io/en/latest/index.html 找到。
holoviz/hvplot hvPlot 是一個基於HoloViews 的高層繪圖API，用於pandas、dask、xarray 和networkx 等數據分析庫。它簡化了數據分析和可視化，提供了一種直觀的方式來創建各種圖表，包括折線圖、散點圖、直方圖、熱圖等。 hvPlot 利用HoloViews 的強大功能，自動處理數據映射、佈局和交互性，使您能夠輕鬆地創建交互式、可探索的圖表。
tensorflow/privacy TensorFlow Privacy是一個Python庫，用於訓練具有數據隱私保護的機器學習模型。它包含TensorFlow優化器的實現，用於訓練具有差分隱私的機器學習模型。該庫還提供教程和分析工具，用於計算提供的隱私保證。該庫處於持續開發中，歡迎貢獻。用戶可以通過pip install tensorflow-privacy安裝該庫，並通過GitHub提交代碼貢獻。
premAI-io/state-of-open-source-ai 該項目是《開源AI 狀態》（2023 版）電子書的源代碼倉庫，該電子書全面介紹了開源AI 的方方面面，從模型評估到部署，旨在幫助讀者了解開源AI 的最新進展。該項目歡迎貢獻、問題和評論，並提供了一個專門的Discord 頻道供讀者討論書中的內容。該電子書採用CC-BY-4.0（文本）和Apache-2.0（代碼）許可證發布。
DataCanvasIO/Hypernets 通用自動化機器學習框架，用於簡化特定領域中端到端AutoML 工具包的開發。包括tensorflow、keras、pytorch 等深度學習框架，以及sklearn、lightgbm、xgboost 等機器學習庫。引入了抽象的搜索空間表示，同時兼顧了超參數優化和神經架構搜索（NAS）的要求，使Hypernets 成為能夠適應各種自動化機器學習需求的通用框架。
yassouali/awesome-semi-supervised-learning 最新和精選的令人敬畏的半監督學習論文，方法和資源列表。未標記的數據可能相對容易收集，但很少有方法可以使用它們。半監督學習通過使用大量未標記的數據以及標記的數據來構建更好的分類器來解決此問題。由於半監督學習需要更少的人力並且具有更高的準確性，因此它在理論和實踐中都非常有趣。
apache/predictionio Apache PredictionIO是一個開源機器學習框架，專為開發者、數據科學家和最終用戶設計。它支持事件收集、算法部署、評估，並通過REST API查詢預測結果。它基於可擴展的開源服務，如Hadoop、HBase（和其他數據庫）、Elasticsearch、Spark，並實現了Lambda 架構。您可以通過網站http://predictionio.apache.org 獲取更多信息。
shankarpandala/lazypredict Lazy Predict是一個Python庫，它可以幫助你快速構建各種基礎機器學習模型，無需編寫大量代碼，並能幫助你了解不同模型的效果，無需進行參數調整。它支持分類和回歸任務，並提供多種評估指標，例如準確率、平衡準確率、ROC AUC、F1分數等。你可以使用它快速比較不同模型的性能，並選擇最適合你的模型。
rasbt/mlxtend mlxtend是一個Python 庫，為Python 的數據分析和機器學習庫提供擴展和輔助模塊。它包含各種實用工具，可以簡化日常數據科學任務，例如，它提供用於集成多個分類器的集成投票分類器，以及用於繪製決策區域的函數。 mlxtend 可以通過pip 或conda 安裝，並提供詳細的文檔和示例代碼，方便用戶學習和使用。
SeldonIO/alibi Alibi是一個Python庫，用於機器學習模型的檢查和解釋，提供高質量的實現，包括黑盒、白盒、局部和全局解釋方法，適用於分類和回歸模型。該庫支持各種解釋方法，例如錨點解釋、集成梯度、反事實示例和累積局部效應，可用於理解模型的預測結果。 Alibi還提供了一系列示例和文檔，幫助用戶快速上手。
ml-tooling/ml-workspace MLWorkspace是一個一體化的基於Web的機器學習和數據科學IDE，預裝了TensorFlow、PyTorch、Jupyter、VS Code等眾多流行庫和工具，方便用戶快速構建ML解決方案。它支持通過Docker輕鬆部署在Mac、Linux和Windows上，並提供Jupyter、JupyterLab和VS Code等多種Web IDE，以及Tensorboard和Netdata等集成監控工具，可通過Web、SSH或VNC訪問。
rusty1s/pytorch_sparse PyTorchSparse 是一個用於優化稀疏矩陣操作的PyTorch 擴展庫，支持自動微分。它包含了多種稀疏矩陣操作，包括合併、轉置、稀疏-稠密矩陣乘法和稀疏-稀疏矩陣乘法，支持多種數據類型，並在CPU 和GPU 上實現。該庫簡化了稀疏張量的操作，用戶只需傳入索引和值張量即可，並支持對值張量的自動微分。
has2k1/plotnine plotnine是一個基於ggplot2 的Python 圖形語法庫，它允許你通過將數據框中的變量映射到圖形對象的視覺屬性（位置、顏色、大小等）來構建圖形。這種圖形語法方法使得構建複雜圖形變得簡單直觀，同時保持簡單圖形的易用性。 plotnine 的API 與ggplot2 相似，因此你可以參考ggplot2 文檔來學習更多用法。
scikit-learn-contrib/metric-learn metric-learn是一個Python 庫，提供多種監督和弱監督度量學習算法的實現，其API 與scikit-learn 兼容，可與scikit-learn 的各種工具（如管道、模型選擇等）無縫銜接。該庫包含LMNN、ITML、SDML、LSML、SCML、NCA、LFDA、RCA、MLKR 和MMC 等算法，可用於學習數據之間的距離度量，從而提高機器學習模型的性能。
dlt-hub/dlt dlt是一個開源的Python庫，簡化數據加載過程，支持多種環境（如Google Colab、AWS Lambda和本地環境）。它具有自動模式生成、數據規範化、可擴展性和易維護性等特點，能快速處理各種數據源，並支持增量加載和命令行界面操作，方便數據探索和高級數據加載基礎設施的構建，遵循Apache 2.0許可證。
holoviz/holoviews HoloViews 是一個Python 庫，它通過簡化數據可視化過程，讓你的數據自動生成圖表。你只需對數據進行標註，HoloViews 會自動選擇合適的圖表類型並呈現數據。它支持多種圖表類型，並與其他數據科學庫（如Pandas 和NumPy）無縫集成。 HoloViews 還可以用於創建交互式圖表，方便你探索和分析數據。
Xtra-Computing/thundersvm ThunderSVM是一個快速支持向量機庫，它利用GPU和多核CPU加速SVM模型訓練，支持LibSVM的所有功能，包括一類SVM、SVC、SVR和概率SVM，並提供與LibSVM相同的命令行選項。 ThunderSVM支持Python、R、Matlab和Ruby接口，可在Linux、Windows和MacOS等操作系統上運行。該項目旨在幫助用戶輕鬆高效地應用SVM解決問題。
tensorflow/serving 靈活、高性能的機器學習模型服務系統，專為生產環境而設計。它涉及機器學習的推理方面，在訓練後獲取模型並管理其生命週期，通過高性能、引用計數的查找表為客戶提供版本化訪問。 TensorFlow Serving 提供與TensorFlow 模型的開箱即用集成，但可以輕鬆擴展以服務其他類型的模型和數據。
sudharsan13296/Awesome-Meta-Learning 這是一個關於元學習的資源列表，包含論文、代碼、書籍、博客、視頻、數據集和其他資源。該項目涵蓋了各種元學習方法，包括零樣本學習、少樣本學習、低樣本學習等。項目提供了一些經典論文的代碼實現，例如Siamese Networks、Prototypical Networks、Matching Networks等，方便用戶學習和實踐。
nebuly-ai/nebullvm 易於使用的庫，可利用最先進的優化技術促進AI 推理。利用多種優化技術（深度學習編譯器、量化、稀疏性、蒸餾等），以確定在特定硬件上執行AI 模型的最佳方式。可以在不損失性能的情況下將您的模型加速2 到10 倍，如果為超低延遲和更輕的模型犧牲準確度/精度，則可加速至30 倍.
carefree0910/carefree-learn carefree-learn是一個基於PyTorch 的深度學習框架，旨在簡化深度學習操作。它以模塊為核心，提供簡潔易用的模塊化設計，並儘可能保持原生PyTorch 風格，支持依賴注入和torch.compile 優化。框架優先考慮模塊化設計，併計劃在未來根據現代AI 發展添加訓練功能，同時保證API 的向後兼容性。
datalad/datalad DataLad是一款基於Git 和git-annex 的數據管理和分發工具，它可以幫助用戶輕鬆地管理代碼、數據和容器。 DataLad 通過將數據存儲在Git 倉庫中，並使用git-annex 來管理大型文件，從而實現數據版本控制、協作和分發。 DataLad 還支持多種數據格式，並提供了一系列工具來簡化數據分析和處理。
yinsn/ParaDance ParaDance 是一個專為大規模數據分析而定制的綜合性Python 工具包。它提供數據加載、處理、評估指標、採樣和可視化功能。 ParaDance 的獨特之處在於，它具有多目標貝葉斯優化功能，支持各種聚合公式和計算器。這種多目標設置的靈活性使ParaDance 成為數據科學家和研究人員的寶貴工具。
SeldonIO/alibi-detect Alibi Detect是一個Python 庫，專注於異常值、對抗樣本和數據漂移檢測。該庫涵蓋了表格數據、文本、圖像和時間序列的在線和離線檢測器。支持TensorFlow 和PyTorch 後端進行漂移檢測。該庫還包含內置的預處理步驟，並提供大量參考列表，包括異常值檢測、對抗樣本檢測和漂移檢測算法。
scikit-tda/scikit-tda Scikit-TDA 是一個為非拓撲學家提供的Python 拓撲數據分析庫，旨在提供易於使用且廣泛適用的TDA 工具。它包含多個獨立的包，可單獨使用或作為scikit-tda捆綁包的一部分使用。安裝所有庫只需運行pip install scikit-tda 。如果您想貢獻代碼、筆記本、示例或文檔，請隨時提交Pull Request。
conda/conda Conda 是一個跨平台、與語言無關的二進制包管理器。它是一個在Miniforge和Anaconda Distribution等conda 發行版中使用的包管理器，但它也可以用於其他系統。 Conda 使環境成為一等公民，甚至可以輕鬆地為C 庫創建獨立的環境。 conda 命令行界面完全用Python 編寫，並且是BSD 許可的開源軟件。
microsoft/onnxruntime 跨平台深度學習訓練和推理機加速器，與深度學習框架，可以兼容TensorFlow、Keras和PyTorch等多種深度學習框架。 Open Neural Network Exchange 是用於表示深度學習模型的開放格式，定義了通用運算符、機器學習和深度學習模型的構建塊以及通用文件格式，可與各種框架工具和編譯器一起使用。
pytorch/ignite Ignite是一個PyTorch 高級庫，它提供靈活且透明的訓練和評估神經網絡的方法。它簡化了訓練和驗證循環，並通過事件和處理程序提供強大的功能。 Ignite 採用庫式方法，不會反轉程序控制，允許用戶在需要時使用它。此外，它還提供可擴展的API，用於度量、實驗管理器和其他組件。
facebookresearch/hydra Hydra是一個用於優雅配置複雜應用程序的框架，它通過簡化配置管理來提高開發效率。 Hydra的工作原理是利用結構化的配置文件，支持多種配置格式和參數覆蓋機制，從而方便地管理和運行複雜的實驗和應用。它擁有活躍的社區和豐富的生態系統，並被廣泛應用於機器學習等領域。
raminmh/liquid_time_constant_networks 一種能適應實時世界系統的變化的神經網絡。神經網絡的設計靈感來自生物大腦，設計靈感直接來自秀麗隱桿線蟲（C. elegans）。他說：「它的神經系統僅有302 個神經元，但卻可以產生超出預期的複雜動態。」 Liquid 網絡的流動性使其能更彈性地應對意料之外的數據或噪聲數據。
vosen/ZLUDA ZLUDA 允許您在Intel AMD GPU 上以近乎原生的性能運行未經修改的CUDA 應用程序。 ZLUDA 目前是alpha 質量，但已被確認可以與各種原生CUDA 應用程序一起使用：Geekbench、3DF Zephyr、Blender、Reality Capture、LAMMPS、NAMD、waifu2x、OpenFOAM、Arnold（概念驗證）等。 ZLUDA完全建立在ROCm/HIP之上。
MaxHalford/prince Prince是一個用於Python 的多元探索性數據分析庫，它包含各種方法來匯總表格數據，包括主成分分析(PCA) 和對應分析(CA)。 Prince 提供高效的實現，使用scikit-learn API。該庫支持多種方法，包括PCA、CA、MCA、MFA、FAMD和GPA，並提供交互式圖表功能，幫助用戶更好地理解數據。
philipperemy/keract Keract是一個用於獲取Keras 模型中各層輸出和梯度的工具，支持Tensorflow 2.9-2.15 版本。它可以輕鬆獲取模型中各層的激活值（輸出）和梯度，並提供多種展示方式，例如以NumPy 數組形式輸出、以熱圖形式展示以及保存為JSON 文件。 Keract 還支持嵌套模型，但目前支持有限。
numba/numba 開源的、NumPy 感知的Python 優化編譯器，由Anaconda， Inc. 贊助。它使用LLVM 編譯器項目從Python 語法生成機器代碼。 Numba 可以編譯一個以數字為中心的Python 子集，包括許多NumPy 函數。此外，Numba 還支持循環的自動並行化、GPU 加速代碼的生成以及ufuncs 和C 回調的創建。
gigwegbe/tinyml-papers-and-projects 這是一個關於TinyML的有趣論文和項目的列表，包含了2016 年到2024 年的論文和項目，涵蓋了模型壓縮、硬件感知量化、目標檢測等領域，並提供了一些資源，如文章、書籍、庫和工具、課程和TinyML 演講。該項目還包含了項目源代碼和文章鏈接，方便用戶學習和參考。
PaddlePaddle/Paddle-Lite 飛槳多端多平台高性能深度學習推理引擎.支持多平台：涵蓋Android、iOS、嵌入式Linux 設備、Windows、macOS 和Linux 主機。支持多種語言：包括Java、Python、C++。輕量化和高性能：針對移動端設備的機器學習進行優化，壓縮模型和二進製文件體積，高效推理，降低內存消耗
TimDettmers/bitsandbytes PyTorch 的8 位CUDA 函數。具有混合精度分解的8 位矩陣乘法；LLM.int8 推理；8 位優化器：Adam、AdamW、RMSProp、LARS、LAMB（節省75% 的內存）；穩定嵌入層：通過更好的初始化和規範化；提高穩定性8 位量化：分位數、線性和動態量化；快速分位數估計：比其他算法快100 倍
gyli/PyWaffle PyWaffle是一個開源的Python 包，用於繪製華夫餅圖，它基於matplotlib，提供一個名為Waffle的圖形構造類，可以生成matplotlib圖形對象。它支持多種自定義選項，包括值縮放、字典輸入、自動調整大小、圖例、標題、顏色、方向、排列方式等，並提供詳細的API 文檔。
TimDettmers/bitsandbytes 用於PyTorch 的8 位CUDA 函數。具有混合精度分解的8 位矩陣乘法；8位優化器：Adam，AdamW，RMSProp，LARS，LAMB，Lion（節省75%的內存）；穩定嵌入層：通過更好的初始化和規範化提高穩定性；8 位量化：分位數、線性和動態量化、快速分位數估計：比其他算法快100 倍。
ggerganov/ggml 用於機器學習的張量庫，用C 語言編寫、16 位浮點支持、整數量化支持（4 位、5 位、8 位等）、自動區分、ADAM和L-BFGS優化器、針對蘋果芯片進行了優化、在x86架構上利用AVX / AVX2內部函數、在ppc64 架構上利用VSX 內部函數、無第三方依賴關係、運行時內存分配為零
nubank/fklearn fklearn是一個基於函數式編程的機器學習庫，旨在簡化機器學習問題的解決。它藉鑑了scikit-learn的理念，並遵循以下原則：真實場景的驗證、生產模型與驗證模型一致、模型易於部署、結果易於復現和分析。 fklearn可以通過pip安裝，並提供詳細的文檔和貢獻指南。
determined-ai/determined Determined 是一個開源機器學習平台，可簡化分佈式訓練、超參數優化、實驗跟踪和資源管理。適用於PyTorch 和TensorFlow。它負責：分佈式訓練可更快獲得結果。用於獲得最佳模型的超參數優化。用於降低雲GPU 成本的資源管理。用於分析和重現性的實驗跟踪。
KaiyuYue/torchshard 馬里蘭大學帕克分校計算機科學系的研究者開源了一個輕量級的引擎，用於將PyTorch 張量切片成並行的shard。當模型擁有大量的線性層（例如BERT、GPT）或者很多類（數百萬）時，TorchShard 可以減少GPU 內存並擴展訓練規模，它具有與PyTorch 相同的API 設計。
thuml/Transfer-Learning-Library 用於遷移學習的開源且文檔齊全的庫。它基於具有高性能和友好API的純PyTorch。當前支持的算法包括：領域對抗神經網絡（DANN）深度適應網絡（DAN）聯合適應網絡（JAN）條件域對抗網絡（CDAN）最大分類器差異（MCD）Margin Disparity Discrepancy 保證金差異（MDD）
stan-dev/stan Stan是一個C++包，提供基於哈密頓蒙特卡洛(HMC)的NUTS採樣器實現的全貝葉斯推斷、自動微分變分推斷(ADVI)的近似貝葉斯推斷以及使用L-BFGS優化的懲罰最大似然估計(MLE)，並基於提供自動微分和矩陣運算的Stan Math庫構建，擁有R、Python、MATLAB等多種語言接口。
wandb/client Weights and Biases 組織和分析機器學習實驗它與框架無關，並且比TensorBoard輕巧。每次您運行帶有的腳本時wandb，都會保存您的超參數和輸出指標。在訓練過程中可視化模型，並輕鬆比較模型的版本。我們還將自動跟踪您的代碼狀態，系統指標和配置參數。
Jittor/jittor 基於JIT 編譯和元運算符的高性能深度學習框架。整個框架和元運算符是及時編譯的。它使我們能夠生成專門針對您的模型的高性能代碼。 Jittor 還包含豐富的高性能模型庫，包括：圖像識別、檢測、分割、生成、可微渲染、幾何學習、強化學習等。
Baiyuetribe/paper2gui 讓每個人都簡單方便的使用前沿人工智能技術。一款面向普通人的AI 桌面APP 工具箱，免安裝即開即用，已支持40+AI 模型，內容涵蓋AI 繪畫、語音合成、視頻補幀、視頻超分、目標檢測、圖片風格化、OCR 識別等領域。支持Windows、Mac、Linux 系統。
xorbitsai/xorbits 一個開源計算框架，可以輕鬆擴展數據科學和機器學習工作負載- 從數據預處理到調優、訓練和模型服務。 Xorbits 可以利用多核或GPU 來加速單台機器上的計算，或者橫向擴展到數千台機器，以支持處理數TB 的數據以及訓練或為大型模型提供服務。
wireservice/agate agate是一個Python 數據分析庫，它優先考慮人類的易讀性，而不是機器的效率。它作為numpy 和pandas 的替代方案，使用可讀的代碼解決現實世界的問題。 agate 以前被稱為journalism，提供豐富的文檔、代碼倉庫和問題追踪系統，方便用戶使用和反饋。
asheeshcric/awesome-contrastive-self-supervised-learning 這是一個關於對比自監督學習的論文列表，包含了對比自監督學習領域的最新研究成果，涵蓋了各種主題，例如對比學習的應用、對比學習的理論基礎、對比學習的攻擊和防禦等。該項目還提供了論文的鏈接和代碼鏈接，方便用戶學習和研究。
IRkernel/IRkernel IRkernel是Jupyter Notebook的原生R內核，允許用戶在Jupyter環境中直接運行R代碼。它需要Jupyter和R環境，安裝方便，可通過R包管理器安裝並註冊內核。用戶可自定義內核名稱，支持多版本R環境的配置，並提供多種啟動方式，包括命令行和Docker容器。
openvinotoolkit/openvino 用於優化和部署AI 推理的開源工具包，提高計算機視覺、自動語音識別、自然語言處理和其他常見任務中的深度學習性能。使用通過TensorFlow、PyTorch 等流行框架訓練的模型。減少資源需求，並在從邊緣到雲的一系列英特爾®平台上高效部署。
tensorly/tensorly TensorLy是一個用Python編寫的張量學習庫，旨在簡化並提供張量分解、張量學習和張量代數操作。它支持NumPy、PyTorch、JAX、TensorFlow、CuPy和Paddle等後端，可以在CPU或GPU上高效運行。用戶可以通過pip或conda安裝TensorLy，並根據需要選擇不同的後端。
SimonBlanke/Hyperactive Hyperactive是一個優化和數據收集工具箱，方便快捷地對計算量大的模型進行原型設計。它易於學習，但功能強大，支持多種優化算法，並提供數據可視化功能，幫助用戶快速找到最佳模型參數。 Hyperactive還支持並行計算，加速模型訓練過程。
HarisIqbal88/PlotNeuralNet Latex代碼生成神經網絡圖，適用於報告和演示。包含FCN-8、FCN-32和Holistically-Nested Edge Detection等網絡示例。支持Ubuntu和Windows系統安裝。已實現Python接口，待添加簡易圖例功能、更多層形狀及RNN示例。使用方法詳見examples目錄或Python示例代碼。
sjwhitworth/golearn GoLearn是一個用Go語言編寫的機器學習庫，旨在提供簡單易用且高度可定制的功能。它實現了scikit-learn的Fit/Predict接口，支持多種評估方法和數據處理工具，方便用戶進行模型選擇和性能評估。該項目正在積極開發中，歡迎用戶反饋和參與。
tensorchord/envd envd是一個命令行工具，用於創建基於容器的AI/ML 開發環境。它使用簡單的Python 代碼來定義環境所需軟件包，並通過envd up命令快速構建隔離的開發環境。 envd 支持本地和雲端部署，並與OCI 鏡像規範兼容，可以輕鬆共享和部署環境。
PytorchLightning/metrics PyTorch原生的函數和度量模塊的集合，用於簡單的性能評估。可以使用常見的指標，如準確性，召回率，精度，AUROC, RMSE, R²等，或者創建你自己的指標。支持超過25個指標，並不斷增加更多通用任務和特定領域的標準(目標檢測，NLP等)。
pydata/xarray xarray是一個Python庫，用於處理N維標記數組和數據集。它結合了NumPy的計算能力和pandas的數據結構，提供高效的N維數據分析工具，支持多種數據格式，並具有強大的標籤和元數據處理功能，方便進行科學計算和數據可視化。
SimonBlanke/Gradient-Free-Optimizers 該項目提供了一套簡單可靠的無梯度優化算法，適用於數值離散搜索空間，包括局部、全局、基於種群和順序優化技術。項目包含多種優化算法，並提供易於使用的接口，方便用戶在不同場景下選擇合適的算法進行優化。
saulpw/visidata 用於表格數據的交互式多功能工具。它將電子表格的清晰度、終端的效率和Python 的強大功能結合到一個輕量級實用程序中，可以輕鬆處理數百萬行。 VisiData 支持tsv、csv、sqlite、json、xlsx （Excel）、hdf5 和許多其他格式。
google/model_search 幫助研究者自動、高效地開發最佳機器學習模型，谷歌開源了一個不針對特定領域的AutoML 平台。該平台基於TensorFlow 構建，非常靈活，既可以找出最適合給定數據集和問題的架構，也能夠最小化編程時間和計算資源。
instill-ai/instill-core Inthrow Core 是一款用於數據、模型和管道編排的全棧AI 基礎設施工具，旨在簡化構建多功能AI 優先應用程序的各個方面。訪問Instill Core 很簡單，無論您是選擇☁️ Instill、Cloud 還是通過instill-core 存儲庫進行自託管。
pytorch/tnt TNT是一個輕量級的PyTorch 訓練工具和實用程序庫，提供了一系列功能，包括訓練循環、指標、數據加載器、可視化工具等，旨在簡化PyTorch 訓練流程。它可以通過pip 或conda 安裝，並支持從master 分支安裝最新版本。
sepandhaghighi/pycm PyCM是一個用Python 編寫的多類混淆矩陣庫，支持輸入數據向量和直接矩陣，是模型評估的工具，支持大多數類別和整體統計參數。 PyCM 是混淆矩陣的瑞士軍刀，主要針對需要各種指標來評估預測模型的數據科學家。
kserve/kserve 提供了一個Kubernetes 自定義資源定義，用於在任意框架上提供機器學習（ML） 模型。它旨在通過為Tensorflow、XGBoost、ScikitLearn、PyTorch 和ONNX 等常見ML 框架提供高性能、高抽象的接口來解決生產模型服務用例。
RAPIDS Open GPU Data Science RAPIDS 開放GPU 數據科學庫。 cuDF - GPU DataFrame Library GPU數據表庫。 cuML - RAPIDS Machine Learning Library RAPIDS 機器學習庫。 cuGraph - RAPIDS Graph Analytics Library RAPIDS 圖分析庫。 cuSignal - RAPIDS Signal Processing Library RAPIDS信號處理庫
chenzomi12/DeepLearningSystem 跟大家一起探討和學習人工智能、深度學習的系統設計，而整個系統是圍繞著ZOMI 在工作當中所積累、梳理、構建AI 系統全棧的內容。希望跟所有關注AI 開源項目的好朋友一起探討研究，共同促進學習討論。
bleedline/aimoneyhunter ai副業賺錢資訊信息的大合集，將在全網搜索並整理ai副業賺錢的相關方法、技術、工具、以及一些可以賺錢的平台和渠道。 期望能在AI時代，打破信息繭房，利用AI智能化做副業，賺取工作之餘的額外收益。
openxla/xla 適用於GPU、CPU 和ML 加速器的機器學習編譯器。 XLA 編譯器從PyTorch、TensorFlow 和JAX 等流行的ML 框架中獲取模型，並對其進行優化，以便在不同的硬件平台（包括GPU、CPU 和ML 加速器）上實現高性能執行。
neuralmagic/sparseml SparseML是一個開源模型優化工具包，它允許您使用剪枝、量化和蒸餾算法創建推理優化的稀疏模型。使用SparseML優化的模型可以導出到ONNX 並與DeepSparse 一起部署，以便在CPU 硬件上實現GPU 級別的性能。
cleanlab/cleanlab 通過自動檢測ML 數據集中的問題來幫助您清理數據和標籤。為了促進對混亂的真實數據進行機器學習，這個以數據為中心的AI 包使用現有模型來估計數據集問題，這些問題可以修復以訓練更好的模型。
lancedb/lance 用於ML 的現代列式數據格式，並在LLMs Rust 中實現。只需2 行代碼即可從parquet 轉換，隨機訪問、矢量索引和數據版本控制速度提高100 倍。兼容Pandas、DuckDB、Polars、Pyarrow，還有更多集成即將推出。
openai/triton OpenAI的Triton是一種類Python 的開源編程語言。能夠高效編寫GPU 代碼。它可以用不到25 行代碼寫出與cuBLAS 性能相匹配的FP16 矩陣乘法內核。此外，使用Triton 成功生成比同類實現效率高2 倍的內核。
dataease/dataease 開源的數據可視化分析工具，幫助用戶快速分析數據並洞察業務趨勢，從而實現業務的改進與優化。 DataEase 支持豐富的數據源連接，能夠通過拖拉拽方式快速製作圖表，並可以方便的與他人分享。
mosaicml/composer 將神經網絡訓練速度提高7 倍更低的成本和更高的準確度更快地訓練神經網絡。我們已經實現了兩打以上的加速方法，只需幾行代碼即可應用於您的訓練循環，或與我們的內置Trainer 一起使用。
nvdla/hw NVIDIA 深度學習加速器(NVDLA) 是一種免費的開放式架構，它促進了設計深度學習推理加速器的標準方法。憑藉其模塊化架構，NVDLA 具有可擴展性、高度可配置性，並且旨在簡化集成和可移植性。
annoviko/pyclustering pyclustering是一個Python 和C++ 數據挖掘庫，提供聚類算法、振盪網絡和神經網絡的實現。它包含Python 和C++ 版本，並支持Linux、Windows 和MacOS 操作系統。該庫不再維護，建議使用其他替代方案。
tensorlayer/TensorLayerX 跨平台開發框架，支持TensorFlow, Pytorch, MindSpore, PaddlePaddle, OneFlow和Jittor，用戶不需要修改任何代碼即可以運行在各類操作系統和AI硬件上（如Nvidia-GPU 和Huawei-Ascend），並支持混合框架的開發。
tensorflow/tensorboard TensorBoard 是一套Web 應用程序，用於檢查和了解TensorFlow 運行和圖表。 TensorBoard 設計為完全離線運行，無需訪問互聯網。例如，這可能位於您的本地計算機上、公司防火牆後面或數據中心中。
virgili0/Virgilio 開源計劃，旨在指導和指導數據科學領域的任何人。我們的願景是讓每個人都有機會參與這個領域，從實踐者開始，獲得新技能，並學會在無限的資源網絡中導航，並找到對您有用的資源。
dreamquark-ai/tabnet PyTorch實現的TabNet，一種可解釋的表格學習方法，適用於二分類、多分類和回歸問題，支持注意力機制和自定義注意力組，可通過pip或conda安裝，提供Jupyter Notebook示例，適用於CPU和GPU環境。
apache/incubator-tvm 用於深度學習系統的編譯器堆棧。它旨在縮小以生產力為中心的深度學習框架與以性能和效率為重點的硬件後端之間的差距。 TVM與深度學習框架一起使用，以提供對不同後端的端到端編譯
numpy/numpy 使用Python 進行科學計算的基礎包。它提供：一個強大的N 維數組對象、複雜的（廣播）功能、用於集成C/C++ 和Fortran 代碼的工具、有用的線性代數、傅里葉變換和隨機數功能。
OpenRefine/OpenRefine 基於Java 的強大工具，它允許您加載數據、理解數據、清理數據、協調數據，並使用來自Web 的數據進行擴充。所有這些都來自網絡瀏覽器以及您自己計算機的舒適性和隱私性。
scutan90/DeepLearning-500-questions 深度學習500問，以問答形式對常用的概率知識、線性代數、機器學習、深度學習、計算機視覺等熱點問題進行闡述，以幫助自己及有需要的讀者。 分為18個章節，50餘萬字。
mlech26l/keras-ncp 設計靈感直接來自秀麗隱桿線蟲由感官神經元接收環境信息、而後經過中間神經元，傳遞給指令神經元進而形成決策信息，最後由動作神經元完成決策的執行並完成動作。
scipy/scipy SciPy（發音為“Sigh Pie”）是一款用於數學、科學和工程的開源軟件。它包括用於統計、優化、積分、線性代數、傅里葉變換、信號和圖像處理、常微分方程求解器等模塊。
MLNLP-World/MIT-Linear-Algebra-Notes 該項目是《線性代數公開課：矩陣運算及其應用》的中文筆記，版本v0.1.0，旨在輔助學習MIT線性代數課程。項目包含課程概述、課程資源、筆記、團隊成員和貢獻者信息。
google-research/tuning_playbook 系統地最大化深度學習模型性能的手冊。重點是超參數調優的過程。我們涉及深度學習訓練的其他方面，例如管道實現和優化，但我們對這些方面的處理並不打算完整。
OpenMined/PySyft 用於安全和私有深度學習的Python庫。 PySyft使用聯合學習，差分隱私和加密計算（例如PyTorch和TF中的多方計算(MPC) 和同態加密(HE) 將模型訓練中的私人數據進行解耦。
guipsamora/pandas_exercises 練習python Pandas庫， 名字衍生自術語”panel data”（面板數據）和”Python data analysis”（Python 數據分析），提供高性能、易於使用的數據結構和數據分析工具。
dropreg/R-Drop 填補Dropout缺陷，簡單又有效的正則方法。在每個mini-batch 中，每個數據樣本過兩次帶有Dropout 的同一個模型，R-Drop 再使用KL-divergence 約束兩次的輸出一致。
yzhao062/combo 用於機器學習模型組合的Python 工具箱。模型組合可以被認為是整體學習的子任務，並且已被廣泛用於諸如Kaggle [3]之類的現實任務和數據科學競賽中。
ELS-RD/kernl 第一個使用OpenAI Triton 編寫的OSS 推理引擎，這是一種由OpenAI 設計的新語言，可以更輕鬆地編寫GPU 內核。每個內核不到200行代碼，易於理解和修改。
whylabs/whylogs 用於機器學習模型和數據管道的開源數據記錄庫。提供對數據質量和模型性能隨時間變化的可見性。支持隱私保護數據收集，確保安全性和穩健性。
zml/zml 在ZML，我們正在高性能AI 推理堆棧之上創建令人興奮的AI 產品。我們的堆棧專為生產而構建，使用令人驚嘆的Zig 語言、MLIR 和Bazel 的強大功能。
sfu-db/dataprep Python 庫，有助於自動化探索性數據分析過程。它在創建數據分析報告時很有用，它還具有3 個用於繪製圖形、繪製缺失數字和數據相關性的功能。
great-expectations/great_expectations 由數據工程師設計並為數據工程師設計的數據質量平台。它可以幫助您快速、清晰地發現問題，同時還可以更輕鬆地與非技術利益相關者協作。
China-UK-ZSL/Resources_for_KZSL KZSL：對知識驅動的零樣本學習進行基準測試.用於零樣本圖像分類( ZS-IMGC)、零樣本關係提取( ZS-RE) 和零樣本知識圖(KG) 完成( ZS-KGC )
ucbrise/actnn PyTorch的激活壓縮訓練框架。在同樣內存限制下，通過使用2 bit 激活壓縮，可將batch size 擴大6-14 倍，將模型尺寸或者輸入圖片擴大6-10 倍。
Jianf-Wang/RSG 可以在訓練過程中生成稀有類樣本，並且可以與任何骨幹網絡相結合。 RSG 僅用於訓練階段，因此在測試階段不會給骨幹網帶來額外的負擔。
haifengl/smile Java和Scala中的快速而全面的機器學習，NLP，線性代數，圖形，插值和可視化系統。憑藉先進的數據結構和算法，Smile 可提供最先進的性能。
salesforce/OmniXAI 用於可解釋AI (XAI) 的Python 機器學習庫，提供全向可解釋AI 和可解釋機器學習功能，以解決實踐中解釋模型做出的決策時的許多痛點。
NLP-LOVE/ML-NLP 機器學習(Machine Learning)、深度學習(Deep Learning)、NLP面試中常考到的知識點和代碼實現，也是作為一個算法工程師必會的理論基礎知識。
NVIDIA/nvidia-container-toolkit NVIDIA 容器工具包允許用戶構建和運行GPU 加速容器。該工具包包括一個容器運行時庫和實用程序，用於自動配置容器以利用NVIDIA GPU。
scikit-learn-contrib/hdbscan 用無監督學習來查找數據集的集群聚類或密集區域的工具。主要算法是HDBSCAN。該算法的高性能實現，以及用於分析結果聚類的工具。
Tencent/WeChat-TFCC C++深入學習推理框架。提供以下工具包，便於您開發和部署訓練DL 模型：TFCC深度學習推理庫的核心、TFCC 代碼生成器、TFCC 運行時。
huggingface/optimum 性能優化工具，AI 生態發展迅速，越來越多的專用硬件及其優化每天都在湧現,可實現在目標硬件上訓練和運行模型的最高效率。
allegroai/clearml ClearML - 自動神奇的CI/CD，可簡化您的AI 工作負載。實驗管理、數據管理、管道、編排、調度和服務在一個MLOps/LLMOps 解決方案中
swyxio/ai-notes 軟件工程師了解新AI 開發速度的說明。用latent.space 編寫和產品頭腦風暴的數據存儲，但已清理/Resources 文件夾下的規範引用。
VowpalWabbit/vowpal_wabbit 機器學習系統，它通過在線、哈希、allreduce、reductions、learning2search、active 和交互式學習、Bandit等技術推動了機器學習的前沿。
eriklindernoren/ML-From-Scratch 從頭開始機器學習。機器學習模型和算法的裸骨NumPy 實現，重點關注可訪問性。旨在涵蓋從線性回歸到深度學習的所有內容。
BayesWitnesses/m2cgen 將ML 模型轉換為零依賴的本機代碼（Java、C、Python、Go、JavaScript、Visual Basic、C#、R、PowerShell、PHP、Dart、Haskell、Ruby、F#、Rust）
NVIDIA/DeepLearningExamples 按模型組織的最先進的深度學習腳本- 易於訓練和部署，在企業級基礎架構上具有可重現的準確性和性能。最新NVIDIA 示例。
YyzHarry/imbalanced-regression 深度不平衡回歸（DIR）旨在從具有連續目標的不平衡數據中學習，解決某些區域的潛在缺失數據，並推廣到整個目標範圍。
cbamls/AI_Tutorial 精選機器學習，NLP，圖像識別， 深度學習等人工智能領域學習資料，搜索，推薦，廣告系統架構及算法技術資料整理。
facebookincubator/AITemplate Python 框架，可將神經網絡渲染為高性能CUDA/HIP C++ 代碼。 專門用於FP16 TensorCore（NVIDIA GPU）和MatrixCore（AMD GPU）推理。
activeloopai/Hub AI的數據集格式。為深度學習構建、管理和可視化數據集。將數據實時流式傳輸到PyTorch/TensorFlow並對其進行版本控制。
christianversloot/machine-learning-articles 關於機器學習的文章，存檔自MachineCurve.com。在2019 年5 月至2022 年2 月期間撰寫了這些關於peroid 機器學習的文章。
microsoft/hummingbird 將訓練有素的機器學習模型編譯為張量計算，以加快推理速度。 用於將經過訓練的傳統ML模型編譯為張量計算的庫。
vikasverma1077/manifold_mixup 數據增強⽅法,目標是通過插入示例的隱藏狀態來學習魯棒的特徵。 我們的方法學習到的表徵更具判別性和緊湊性。
heheda12345/MagPy MagPy 是PyTorch 程序的JIT 編譯器。它可以從PyTorch 程序中提取運算符圖，並使用各種深度學習圖編譯器來優化圖。
CamDavidsonPilon/Probabilistic-Programming-and-Bayesian-Methods-for-Hackers 又名“黑客的貝葉斯方法”：介紹貝葉斯方法+概率編程，以計算/理解為先，數學為第二的觀點。一切都在純python
PaddlePaddle/PaddleHub 基於PaddlePaddle的真棒預訓練模型工具包。 （400+模型，包括圖像，文本，音頻，視頻和跨模態，易於推理和服務）
rasbt/deeplearning-models 各種深度學習架構、模型和技巧的集合。 Jupyter Notebooks中TensorFlow和PyTorch的深度學習架構、模型和技巧的集合。
vespa-engine/vespa 開放的大數據服務引擎。開放的大數據服務引擎- 在服務時存儲、搜索、組織和對大數據進行機器學習推理。
PKU-DAIR/mindware 一個高效的開源AutoML 系統，用於自動化機器學習生命週期，包括特徵工程、神經架構搜索和超參數調整。
rayon-rs/rayon Rust 的數據並行庫。它非常輕巧，可以輕鬆地將順序計算轉換為並行計算。它還保證了數據競爭的自由。
wuba/dl_inference 通用深度學習推理工具，可在生產環境中快速上線由TensorFlow、PyTorch、Caffe框架訓練出的深度學習模型。
arogozhnikov/Einops 深度學習操作被徹底改造（用於pytorch、tensorflow、jax 等）. einops(愛因斯坦標記法),讓代碼可讀性更強.
Mohitkr95/Best-Data-Science-Resources 該存儲庫包含最好的數據科學免費精選資源，可為您提供所有行業驅動的技能和麵試準備工具包。
Tencent/TNN 移動端高性能、輕量級推理框架，同時擁有跨平台、高性能、模型壓縮、代碼裁剪等眾多突出優勢
tracel-ai/burn 使用Rust 構建的新的綜合動態深度學習框架，其主要目標是極高的靈活性、計算效率和可移植性。
janishar/mit-deep-learning-book-pdf 麻省理工學院深度學習書PDF 格式（完整和部分），作者：Ian Goodfellow、Yoshua Bengio 和Aaron Courville
guofei9987/scikit-opt 強大的啟發式算法Python模塊遺傳算法粒子群優化模擬退火蟻群算法免疫算法人工魚群算法
amusi/Deep-Learning-Interview-Book 深度學習面試寶典（含數學、機器學習、深度學習、計算機視覺、自然語言處理和SLAM等方向）
apachecn/pytorch-doc-zh Pytorch 中文文檔,PyTorch 是一個針對深度學習, 並且使用GPU 和CPU 來優化的tensor library (張量庫)
geohot/tinygrad 不到1000行的深度學習框架，麻雀雖小，但五臟俱全，這個深度學習框架使用起來和PyTorch類似
PaddlePaddle/models 飛槳產業級開源模型庫，官方維護，PaddlePaddle支持，包括CV、NLP、Speech、Rec、TS、大模型等。
ContrastiveSR/Contrastive_Learning_Papers 對比學習的相關論文列表。內容包括：計算機視覺、NLP、推薦系統、圖模型等方面的應用。
serge-sans-paille/pythran 將Python 代碼轉成C++ 代碼執行一個AOT (Ahead-Of-Time - 預先編譯) 編譯器，大幅度提升性能。
jxhe/unify-parameter-efficient-tuning 參數高效遷移學習(PETL) 方法僅調整少量（額外）參數以使大型預訓練模型適應下游任務。
AtsushiSakai/PythonRobotics 包括了機器人設計中常用的定位算法、測繪算法、路徑規划算法、SLAM 、路徑跟踪算法。
mars-project/mars 基於張量的統一框架，用於大規模數據計算，可擴展numpy，pandas，scikit-learn和Python函數。
4paradigm/OpenMLDB 一個開源機器學習數據庫，它提供了一個計算一致特徵的特徵平台，用於訓練和推理。
microsoft/nnfusion 靈活高效的深度神經網絡（DNN）編譯器，可從DNN模型描述生成高性能的可執行文件。
lanpa/tensorboardX PyTorch的張量板（以及Chainer，MXNET，Numpy等）。使用簡單的函數調用編寫張量板事件。
visenger/awesome-mlops 機器學習操作(MLOps)，可自動執行並加速機器學習生命週期。精選的參考文獻列表。
Unstructured-IO/unstructured 開源庫和API，用於構建用於標記、訓練或生產機器學習管道的自定義預處理管道。
pola-rs/polars 速度極快的DataFrames 庫，使用Apache Arrow Columnar Format 作為內存模型在Rust 中實現。
apachecn/AiLearning AiLearning: 機器學習- MachineLearning - ML、深度學習- DeepLearning - DL、自然語言處理NLP
PaddlePaddle/Paddle 『飛槳』核心框架，深度學習&機器學習高性能單機、分佈式訓練和跨平台部署
yuanming-hu/taichi_mpm 帶有切割和耦合（CPIC）的高性能MLS-MPM（基於移動最小二乘法的物質點法）求解器
BoltzmannEntropy/interviews.ai 深度學習面試書：數百個完全解決的工作面試問題，來自AI 的廣泛關鍵主題。
mljar/mljar-supervised 用於表格數據AutoML 的Python 包，具有特徵工程、超參數優化、解釋和自動文檔
vaexio/vaex 適用於Python的核外DataFrame，以每秒十億行的速度可視化和探索大型表格數據
bojone/keras_recompute 通過重計算來節省顯存，參考論文《Training Deep Nets with Sublinear Memory Cost》。
plotly/dash 下載量最大，最值得信賴的Python框架，用於構建ML和數據科學Web應用程序。
google-deepmind/sonnet 基於TensorFlow 2 構建的庫，旨在為機器學習研究提供簡單、可組合的抽象。
polyaxon/traceml 用於機器學習/數據跟踪、可視化、可解釋性、漂移檢測和儀表板的引擎。
huggingface/datasets 最大的ML 模型即用型數據集中心，提供快速、易用和高效的數據處理工具
roboticcam/machine-learning-notes 不間斷更新的機器學習，概率模型和深度學習的講義(2000+頁)和視頻鏈接
BinRoot/TensorFlow-Book 隨附的Machine Learning with TensorFlow 源代碼。請參閱本書以獲取分步說明。
skorch-dev/skorch 綜合scikit-learn和PyTorch的機器學習庫，可以實現sklearn和PyTorch高效兼容。
flyteorg/flyte 可擴展且靈活的工作流編排平台，可無縫統一數據、ML 和分析堆棧。
MingchaoZhu/DeepLearning 該書為《深度學習》(花書) 數學推導、原理剖析與源碼級別代碼實現
microsoft/Semi-supervised-learning 統一的半監督學習基準，可應用於人臉識別、語音識別和音頻分類
marcotcr/lime LIMELocal Interpretable Model-agnostic Explanations被用作解釋機器學習模型。
huggingface/candle Rust 的極簡主義ML 框架，專注於性能（包括GPU 支持）和易用性。
davisking/dlib 用於在C++ 中製作真實世界機器學習和數據分析應用程序的工具包
Visualize-ML/Book4_Power-of-Matrix Book_4_《矩陣力量》 | 鳶尾花書：從加減乘除到機器學習；上架！
ctgk/PRML 實現Bishop的書“模式識別和機器學習”中描述的算法的Python代碼
rasbt/python-machine-learning-book “Python Machine Learning （1st edition）” 一書代碼存儲庫和信息資源
metabase/metabase 以最簡單、快捷的方式為公司中的每個人提供商業智能和分析
probml/pml-book “概率機器學習”——凱文·墨菲（Kevin Murphy） 的系列叢書
academic/awesome-datascience 很棒的數據科學存儲庫，用於學習和應用現實世界的問題。
dair-ai/ml-visuals 包含圖形和模板，重複使用和自定義以改進您的科學寫作。
ahkarami/Deep-Learning-in-Production 有關在生產中部署基於深度學習的模型的有用說明和參考。
MegEngine/MegCC 一個運行時超輕量，高效，移植簡單的深度學習模型編譯器
dabl/dabl 數據分析基線庫，當前主要側重於探索性可視化和預處理。
awslabs/autogluon 為文本、圖像、表格數據開發的自動機器學習庫（AutoML）。
nvidia/TensorRT C++庫，用於對NVIDIA GPU 和深度學習加速器進行高性能推論。
mindsdb/mindsdb 使用SQL語法，在數據庫和數據倉庫啟用機器學習工作流。
BrainJS/brain.js GPU 加速了適用於瀏覽器和Node.js 的JavaScript 中的神經網絡
bentoml/BentoML ML模型服務框架.創建部署和擴展機器學習服務變得容易。
iterative/dvc Data 版本控制、用於數據和模型的Git、機器學習實驗管理
borgwang/tinynn 用Python3 編寫的輕量級深度學習框架（用於學習目的）。
microsoft/EdgeML Microsoft Research India開發的邊緣設備提供了機器學習算法。
evidentlyai/evidently 在驗證或生產監控期間分析機器學習模型的交互式報告。
4paradigm/AutoX 高效的automl 工具，針對具有表格數據的數據挖掘任務。
ashleve/lightning-hydra-template PyTorch Lightning + Hydra。一個非常用戶友好的ML 實驗模板。
Visualize-ML/Book3_Elements-of-Mathematics Book_3_《數學要素》 | 鳶尾花書：從加減乘除到機器學習
esa/pagmo2 大規模並行優化的科學庫生物啟發式算法和進化算法
pytorch/opacus Opacus是一個庫，可以使用不同的隱私訓練PyTorch模型。
mit-han-lab/mcunet IoT硬件上精簡的深度學習庫Tiny Deep Learning on IoT Devices
aws/sagemaker-python-sdk 用於在Amazon SageMaker 上訓練和部署機器學習模型的庫
Netflix/metaflow 輕鬆構建和管理現實生活中的ML、AI 和數據科學項目
XuezheMax/apollo Apollo：用於非凸隨機優化的自適應參數對角擬牛頓法
merrymercy/awesome-tensor-compilers 張量計算和深度學習的出色編譯器項目和論文列表。
karpathy/micrograd 微型標量自動求導引擎，類似PyTorch API的神經網絡庫
apple/coremltools 包含用於Core ML模型轉換、編輯和驗證的支持工具。
tensorflow/tfjs WebGL 加速的JavaScript 庫，用於訓練和部署ML 模型。
PyTorchLightning/PyTorch-lightning 基於Pytorch的輕量高級計算框架，相當於Keras框架。
fbdesignpro/sweetviz 用一行代碼可視化和比較數據集、目標值和關聯。
AutoViML/AutoViz 使用一行代碼自動可視化任何大小的任何數據集。
Kanaries/pygwalker 將pandas 數據幀轉換為交互式UI 以進行可視化分析
teddykoker/torchsort 快速可微分排序算法PyTorch包，配有自定義C ++和CUDA
HumanSignal/label-studio 具有標準化輸出格式的多類型數據標註和標註工具
ml-tooling/best-of-ml-python 一個令人讚嘆的python機器學習排名表，每週更新。
gradio-app/gradio 在3 分鐘內使用Python 為您的機器學習模型創建UI
Oneflow-Inc/oneflow OneFlow是一個以性能為中心的開源深度學習框架。
jonasrauber/eagerpy 編寫與PyTorch，TensorFlow，JAX和NumPy本地兼容的代碼
statsmodels/statsmodels Statsmodels：Python 中的統計建模和計量經濟學庫。
Aimhubio/Aim 一個超級簡單的記錄、查找、比較AI實驗的庫。
aamini/introtodeeplearning 麻省理工學院6.S191 實驗室資料：深度學習簡介
scikit-hep/awkward-1.0 使用類似NumPy 的習語來處理類似JSON 的數據。
pyro-ppl/pyro 基於PyTorch作為後端的通用概率編程語言(PPL)。
paperswithcode/ai-deadlines 倒數計時，用於跟踪CV/NLP/ML/RO 會議截止日期。
kaidic/LDAM-DRW 使用標籤分佈感知邊際損失學習不平衡數據集
ZhiningLiu1998/mesa 設計元知識驅動的採樣器解決類別不平衡問題
interpretml/interpret 訓練可解釋的機器學習模型和解釋黑匣子系統
probml/pyprobml Kevin Murphy的“概率機器學習”一書的Python代碼
luwill/Machine_Learning_Code_Implementation 機器學習算法的數學推導和純Python代碼實現。
RadeonOpenCompute/ROCm ROCm - 用於HPC 和超大規模GPU 計算的開源平台
sql-machine-learning/sqlflow 連接SQL 引擎的橋接，與機器學習工具包連接
Speedml/speedml 一個Python包，用於加速啟動機器學習項目。
zjhellofss/KuiperInfer 帶你從零實現一個高性能的深度學習推理庫
idrl-lab/idrlnet 基於內嵌物理知識神經網絡的開源求解框架
ZuzooVn/machine-learning-for-software-engineers 學習成為機器學習工程師的完整日常計劃。
scikit-learn-contrib/MAPIE 用於估計預測間隔的scikit-learn 兼容模塊。
bokeh/bokeh 瀏覽器中的交互式數據可視化，來自Python
nterpretml/interpret 適合可解釋的模型。 解釋黑盒機器學習。
JuliaLang/julia 用於科學計算的高級、高性能動態語言。
softsys4ai/FlexiBO 基於成本感知的多目標優化深度神經網絡
jindongwang/MachineLearning 一些關於機器學習的學習資料與研究介紹
openmlsys/openmlsys-zh 《機器學習系統：設計與實現》- 中文版
terryum/awesome-deep-learning-papers 被引用最多的深度學習論文on Oct 19, 2018
ydataai/ydata-profiling 從pandas DataFrame 對象創建HTML 分析報告
poloclub/cnn-explainer 使用交互式可視化學習卷積神經網絡。
doccano/doccano 面向機器學習從業者的開源註釋工具。
streamlit/streamlit 用Python 構建數據應用程序的最快方法
alexmojaki/heartrate 調試Python程序執行的簡單實時可視化
e-tony/best-of-ml-rust 一個令人讚嘆的Rust機器學習排名表。
DataCanvasIO/DeepTables DeepTables：表格數據的深度學習工具包
google/tensorstore 用於讀取和寫入大型多維數組的庫。
ml-tooling/best-of-ml-python 很棒的機器學習Python庫的排名列表。
matazure/mtensor 一個tensor計算庫, 支持cuda的延遲計算
thuwyh/InferLight 提高模型的線上推理吞吐量近2.5倍。
automl/auto-sklearn 使用scikit-learn 進行自動化機器學習
dotnet/machinelearning .NET 的開源和跨平台機器學習框架。
NVIDIA-AI-IOT/torch2trt 易於使用的PyTorch 到TensorRT 轉換器
facebookresearch/bitsandbytes 用於8 位優化器和量化例程的庫。
modin-project/modin 通過更改一行代碼來擴展加速pandas
pycaret/pycaret Python中的開源，低代碼機器學習庫
neuronika/neuronika 純Rust的張量和動態神經網絡庫。
alibaba/MNN 輕量級的深度神經網絡推理引擎
NUAA-AL/ALiPy 基於Python實現的主動學習工具包
ShichenXie/scorecardpy Scorecard Development in python, 評分卡
MAIF/shapash 非常炫酷的模型解釋性工具包。
rougier/numpy-100 100 個numpy 練習（含解決方案）
google/trax 代碼更清晰的神經網絡代碼庫
geekinglcq/CDCS CDCS 中國數據競賽優勝解集錦
cupy/cupy 使用CUDA 加速類似NumPy 的API
mlpack/mlpack C++ 快速、靈活的機器學習庫
luwill/machine-learning-code-writing luwill/machine-learning-code-writing
geatpy-dev/geatpy 高性能遺傳進化算法工具箱
man-group/dtale pandas數據結構的可視化工具
tensorflow/rust TensorFlow 的Rust 語言綁定。
dustinvtran/ml-videos 機器學習視頻資源的集合
lawlite19/MachineLearning_Python 機器學習算法python實現
MLEveryday/100-Days-Of-ML-Code 100-Days-Of-ML-Code中文版
tensorflow/ranking TensorFlow中的排名學習
lavender28/Credit-Card-Score 申請信用評分卡模型
csuldw/MachineLearning csuldw/MachineLearning
facebookresearch/nevergrad 無梯度優化平台
bfortuner/ml-glossary 機器學習術語表
rushter/MLAlgorithms 機器學習算法
andkret/Cookbook 數據工程手冊
scikit-survival 生存分析
TsingZ0/PFLlib PFLlib 是一個用戶友好的個性化聯邦學習（Personalized Federated Learning, pFL）算法庫，旨在為初學者提供一個集成評估平台，以便他們能夠開始學習和研究聯邦學習（Federated Learning, FL）。該庫專注於解決數據和模型的異構性問題，特別是統計異質性，這是由於用戶的個性化行為導致的非獨立同分佈（Non-IID）和數據不平衡現象。 PFLlib 包含了多種算法，其中傳統聯邦學習（Traditional Federated Learning, tFL）和個性化聯邦學習（Personalized Federated Learning, pFL）是主要的兩種類型。 tFL 側重於共同學習全局模型，而pFL 則旨在為每個用戶學習個性化的模型。 PFLlib 提供了34個聯邦學習算法，其中包含27個個性化聯邦學習算法，涵蓋了3大類數據異質場景和20個數據集。 PFLlib 的主要目的是降低初學者研究聯邦學習的門檻，通過簡單的示範指南和代碼示例，使新手用戶能夠快速上手。此外，PFLlib 還支持高效GPU 內存使用及新增的隱私保護功能，進一步提升了其在實際應用中的可用性和安全性。 PFLlib 是一個專門為初學者設計的個性化聯邦學習算法庫，通過提供多種算法和集成評估平台，幫助用戶解決數據和模型的異構性問題，特別是統計異質性問題。
adap/flower Flower ( flwr ) 是構建聯邦學習系統的框架。 Flower 的設計基於一些指導原則：可定制：聯邦學習系統從一個用例到另一個用例都有很大差異，Flower 允許根據每個單獨用例的需求進行各種不同的配置。可擴展：Flower 源自牛津大學的一個研究項目，因此它是在人工智能研究的基礎上構建的，許多組件可以擴展和覆蓋以構建新的最先進的系統。與框架無關：不同的機器學習框架具有不同的優勢， Flower 可以與任何機器學習框架一起使用，例如PyTorch 、 TensorFlow 、 Hugging Face Transformers 、 PyTorch Lightning 、 scikit-learn 、 JAX 、 TFLite 、 MONAI 、 fastai 、 MLX 、 XGBoost 、 Pandas進行聯合分析，甚至原始NumPy進行聯合分析喜歡手動計算梯度的用戶。可以理解：Flower 的編寫考慮到了可維護性。鼓勵社區閱讀代碼庫並為代碼庫做出貢獻。
yahoo/TensorFlowOnSpark TensorFlowOnSpark是一個將TensorFlow 程序帶到Apache Spark 集群的項目，它結合了TensorFlow深度學習框架和Apache Spark/Hadoop 的優勢，實現分佈式深度學習，支持在GPU 和CPU 服務器集群上進行分佈式TensorFlow 訓練和推理。它提供了一個與Spark 兼容的API，簡化了TensorFlow集群管理，並通過兩種數據攝取模式（TensorFlow 和Spark）支持從HDFS 或其他來源獲取數據，只需少量代碼修改即可將現有TensorFlow 程序遷移到集群，並支持TensorFlow 的所有功能，包括同步/異步訓練、模型/數據並行、推理和TensorBoard。該項目由Yahoo 開發，旨在為其Hadoop 集群提供大規模分佈式深度學習能力，並提供單節點Spark Standalone、YARN 集群和AWS EC2 等環境的詳細文檔。
NVIDIA/apex NVIDIA/apex是一個PyTorch 擴展庫，提供工具簡化PyTorch 中的混合精度和分佈式訓練。該項目旨在快速提供最新的實用工具，其中一些代碼最終將被整合到PyTorch 主分支。 Apex 提供了自動混合精度（Amp）工具，只需修改三行代碼即可啟用混合精度訓練，並提供分佈式訓練功能，包括DistributedDataParallel模塊，用於方便的多進程分佈式訓練，以及SyncBatchNorm模塊，用於同步批歸一化。此外，Apex 還提供檢查點功能，用於保存和加載Amp 訓練狀態，以確保位精度。需要注意的是，Amp 和DistributedDataParallel已被PyTorch 的原生功能取代，建議使用PyTorch 的AMP 和torch.nn.parallel.DistributedDataParallel 。
google/evojax EvoJAX是一個可擴展的、通用的、硬件加速的神經進化工具包。它基於JAX庫構建，允許神經進化算法在多個TPU/GPU上並行運行的神經網絡中工作。 EvoJAX通過將進化算法、神經網絡和任務都實現為NumPy來實現非常高的性能，NumPy被即時編譯以在加速器上運行。該倉庫還包含幾個可擴展的EvoJAX示例，用於各種任務，包括監督學習、強化學習和生成藝術，展示了EvoJAX如何在單個加速器上以幾分鐘的時間運行您的進化實驗，而使用CPU則需要數小時或數天。 EvoJAX論文：https://arxiv.org/abs/2202.05008（演示[視頻](https://youtu.be/TMkft3wWpb8)）。
sony/nnabla Neural Network Libraries (NNabla) 是一個用於研究、開發和生產的深度學習框架，旨在支持多種平台，包括桌面電腦、高性能計算集群、嵌入式設備和生產服務器。它提供易於使用、靈活且富有表現力的Python API，並支持靜態和動態計算圖。 NNabla 還提供CUDA 擴展庫以加速GPU 計算，以及用於推理、神經架構搜索(NAS) 和強化學習(RL) 的專用庫。此外，它還提供一個Windows GUI應用程序，名為Neural Network Console，用於神經網絡開發。用戶可以通過pip install nnabla安裝CPU 版本，並通過pip install nnabla-ext-cuda116安裝CUDA 擴展庫以實現GPU 加速。
weimingwill/awesome-federated-learning 這是一個關於聯邦學習的資源庫，包含博客、調查、研究論文和項目等內容。該項目旨在幫助用戶學習聯邦學習，並促進研究和項目開發。項目按研究領域和會議/期刊分類整理論文，並提供一些通用資源，包括博客、調查、基準測試、視頻、框架和公司信息。該項目還提供了一個開源的聯邦學習平台EasyFL，方便用戶進行實驗和原型設計。項目中包含了關於通信效率、系統設計、可信度、去中心化聯邦學習、應用、垂直聯邦學習和聯邦學習與其他技術的結合等方面的研究論文。
run-house/runhouse Runhouse是一個用於機器學習訓練的“無服務器”集群調度和分發工具，它允許您在Python中將Python函數和類分發到您自己的任何云計算基礎設施，並像本地一樣調用它們。 Runhouse支持多種雲平台和本地環境，並提供可重複性、可調試性和可擴展性，幫助您在研究和生產環境中快速、高效地進行機器學習開發。它消除了手動操作，並允許您在代碼中捕獲應用程序和基礎設施步驟，從而實現跨團隊和環境的精確可重複性。 Runhouse還提供了靈活的擴展和成本優化功能，幫助您節省成本。
mindspore-ai/mindspore MindSpore是一個開源的深度學習訓練/推理框架，可用於移動、邊緣和雲場景。它旨在為數據科學家和算法工程師提供友好的開發體驗和高效的執行，並原生支持昇騰AI 處理器，實現軟硬件協同優化。 MindSpore 作為全球AI 開源社區，旨在進一步推動AI 軟件/硬件應用生態系統的開發和豐富。 MindSpore 使用自動微分技術，支持兩種主流的自動微分技術：算子重載和源代碼轉換。算子重載在運行時生成梯度圖，而源代碼轉換在編譯時進行自動微分轉換，支持更複雜的控制流場景。
apache/singa Apache SINGA是一個分佈式深度學習平台，它允許用戶在多個機器上訓練大型深度學習模型。 SINGA 提供了多種編程接口，包括Python 和C++，並支持多種深度學習框架，如TensorFlow 和PyTorch。 SINGA 的核心設計理念是模塊化和可擴展性，它允許用戶輕鬆地構建和擴展自己的深度學習系統。用戶可以訪問官方網站http://singa.apache.org獲取更多信息，並通過https://issues.apache.org/jira/browse/SINGA 提交問題。
tf-encrypted/tf-encrypted TF Encrypted是一個基於TensorFlow 的加密機器學習框架，它使用安全多方計算和同態加密技術，在加密數據上進行訓練和預測。 TF Encrypted旨在讓隱私保護機器學習更容易使用，無需用戶具備密碼學、分佈式系統或高性能計算方面的專業知識。該項目基於TensorFlow 2，支持eager execution 和graph execution，提供易於使用的Keras API 接口，並包含豐富的示例和文檔。用戶可以通過pip 安裝TF Encrypted，並使用提供的示例代碼進行加密矩陣乘法等操作。
kubeflow/katib Katib 是一個用於自動化機器學習(AutoML) 的Kubernetes 原生項目。 Katib 支持超參數調優、提前停止和神經架構搜索。 Katib 是一個與機器學習(ML) 框架無關的項目。它可以調整以用戶選擇的任何語言編寫的應用程序的超參數，並且本機支持許多機器學習框架，例如TensorFlow 、 Apache MXNet 、 PyTorch 、 XGBoost等。 Katib 可以使用任何Kubernetes自定義資源執行訓練作業，並為Kubeflow Training Operator 、 Argo Workflows 、 Tekton Pipelines等提供開箱即用的支持。
lyhue1991/eat_tensorflow2_in_30_days 該項目旨在幫助學習者在30天內掌握TensorFlow2.0，提供以“食譜”形式組織的學習內容，包含Jupyter Notebook 代碼示例，並提供中文版本。項目特色在於以“食譜”形式組織學習內容，方便學習者循序漸進地掌握TensorFlow2.0。該項目適合工程師和學生/研究人員，工程師優先選擇TensorFlow2.0，學生/研究人員優先選擇Pytorch，建議有時間者掌握兩者。項目作者認為在工業界TensorFlow2.0 更受歡迎，而Pytorch 更適合快速迭代開發和發布。
intel-analytics/analytics-zoo Analytics Zoo是一個開源的大數據AI 平台，它提供了一系列功能，將端到端的AI 擴展到分佈式大數據，包括：Orca，用於無縫擴展TensorFlow 和PyTorch 以處理大數據（使用Spark 和Ray）；RayOnSpark，用於直接在Big Data 集群上運行Ray 程序；BigDL 擴展，用於BigDL 的高級Spark ML 管道和Keras 風格的API；Chronos，用於使用AutoML 進行可擴展的時間序列分析；PPML（隱私保護機器學習），用於隱私保護的大數據分析和機器學習（實驗性）。
mosaicml/streaming StreamingDataset是一個用於高效神經網絡訓練的數據流庫，專為大型模型的多節點分佈式訓練而設計，旨在最大限度地提高正確性保證、性能和易用性。它支持各種數據類型，包括圖像、文本、視頻和多模態數據，並與主要雲存儲提供商（如AWS、OCI、GCS、Azure、Databricks 和任何與S3 兼容的對象存儲，例如Cloudflare R2）兼容，使您能夠高效地訓練任何地方，而無需考慮訓練數據的位置。只需在需要時流式傳輸所需數據即可。
chaoyanghe/Awesome-Federated-Learning Awesome-Federated-Learning 是一個精選的聯邦學習出版物列表，主要整理自Arxiv，FedML 是一個集研究和生產於一體的聯邦學習庫，可以幫助用戶快速構建和部署聯邦學習系統。該項目涵蓋了聯邦學習領域的基礎理論和趨勢，以及在頂級機器學習、計算機視覺、自然語言處理和數據挖掘會議（如ICML、NeurIPS、ICLR、CVPR、ACL、AAAI、KDD）上發表的最新研究成果，例如針對標籤不足、數據異構、通信成本等問題的解決方案。
youngfish42/Awesome-FL Awesome-FL是一個關於聯邦學習的資源庫，包含論文、框架、數據集、教程和研討會等信息。它涵蓋了聯邦學習在不同領域的應用，例如人工智能、機器學習、數據挖掘、安全、計算機視覺、自然語言處理、信息檢索、數據庫、網絡、系統等。該項目還提供了聯邦學習在圖數據和圖神經網絡以及表格數據上的資源。項目定期更新，用戶可以通過GitHub 提交問題或請求來建議其他關鍵資源。
AmberLJC/FLsystem-paper 該項目是一個關於聯邦學習系統論文的精選列表，包含來自大型科技公司（如蘋果、谷歌、Meta、微軟、阿里巴巴、IBM、英偉達、WeBank等）的系統論文，以及開源框架、邊緣/移動設備、聯邦計算系統、優化、安全和隱私、真實世界應用、真實世界設備跟踪、調查和一般見解等方面的論文。該項目旨在幫助研究人員和從業人員了解聯邦學習系統的最新發展，並提供相關資源。
inducer/pyopencl PyOpenCL是一個Python 庫，它允許你從Python 中訪問GPU 和其他大規模並行計算設備。它提供了RAII 機制，自動錯誤檢查，速度快，並擁有完整的文檔和Wiki。 PyOpenCL 支持Apple、AMD 和Nvidia 的OpenCL 實現，並提供簡單的安裝指南。你可以使用Conda在Linux 和macOS 上安裝PyOpenCL，它也會安裝一個可用的OpenCL 實現。如果你想從源代碼構建，你需要g++/clang、numpy 和一個OpenCL 實現。
tensorflow/model-analysis TensorFlow Model Analysis(TFMA) 是一個用於評估TensorFlow 模型的庫，它允許用戶在大量數據上以分佈式方式評估模型，並使用與訓練器中定義的相同指標。這些指標可以在數據的不同切片上計算，並在Jupyter Notebook 中可視化。 TFMA 支持對模型進行切片分析，以便更好地理解模型在不同人群或數據子集上的表現。它還提供了一系列工具，用於評估模型的性能、公平性和魯棒性。
cortexlabs/cortex Cortex是一個用於大規模機器學習生產基礎設施的開源項目，它允許您在生產環境中部署、管理和擴展機器學習模型。 Cortex 支持實時、異步和批處理工作負載，並提供自動集群管理功能，包括自動擴展、搶占實例和環境管理。此外，Cortex 還集成了CI/CD 和可觀察性工具，並專門為AWS 構建，利用EKS、VPC 和IAM 等服務。需要注意的是，該項目目前不再由原作者積極維護。
PrimeIntellect-ai/OpenDiLoCo OpenDiLoCo是一個開源框架，用於全局分佈式低通信訓練，它允許在多個機器上訓練大型模型，同時減少通信開銷。該框架利用了Hivemind庫進行分佈式權重平均，並提供了預構建的Docker鏡像，方便用戶設置環境。用戶可以通過更改torchrun參數和per-device-train-batch-size來適應不同的機器配置。該項目包含了論文中實驗的代碼和結果，並提供了詳細的實驗配置說明。
awslabs/deequ Deequ是一個基於Apache Spark 的庫，用於定義“數據單元測試”，用於衡量大型數據集中的數據質量。 Deequ 可以幫助你發現數據中的錯誤，例如數據類型錯誤、缺失值、重複值等，並在數據被用於其他系統或機器學習算法之前及早發現問題。 Deequ 可以處理各種表格數據，例如CSV 文件、數據庫表、日誌文件等，並利用Spark 的分佈式計算能力高效地處理大型數據集。
uber/petastorm Petastorm是Uber ATG 開發的一個開源數據訪問庫，它允許使用Apache Parquet格式的dataset 進行單機或分佈式深度學習模型訓練和評估。 Petastorm 支持TensorFlow、PyTorch 和PySpark 等流行的Python 機器學習框架，也可以在純Python 代碼中使用。它使用PySpark 生成dataset，並提供可擴展的數據編解碼器，支持標準數據壓縮（如jpeg、png）和自定義編解碼器。
bytedance/fedlearner 字節開源聯邦機器學習平台,採用的是一套雲原生的部署方案。數據存放在HDFS，用MySQL存儲系統數據。通過Kubernetes管理和拉起任務。每個Fedlearner的訓練任務需要參與雙方同時拉起K8S任務，通過Master節點統一管理，Worker建實現通信。以推薦廣告業務為例，聯邦機器學習平台的廣告主和平台方應該各自管理一套模型展示服務和模型訓練服務。
mpi4py/mpi4py mpi4py是一個Python 庫，提供對消息傳遞接口(MPI) 標準的綁定，它基於MPI-2 C++ 綁定，並利用共享/動態庫構建的MPI 實現（如MPICH 或Open MPI）來實現並行計算。 mpi4py 支持Python 3.6 及以上版本和PyPy 7.2 及以上版本，並提供完善的文檔和測試套件，包括GitHub Actions、Read the Docs、Azure Pipelines、AppVeyor、Circle CI 和Codecov 等平台上的持續集成測試。
tensorflow/cloud TensorFlow Cloud提供了一套API，可以輕鬆地將Keras 和TensorFlow 代碼從本地環境的調試和訓練遷移到雲端的分佈式訓練。該項目包含run API和Tuner，其中run API 可用於在Google Cloud Platform 上進行模型訓練，通過簡單的腳本調用即可自動應用TensorFlow 的單設備策略，實現大規模訓練。 Tuner 則可以幫助用戶優化模型超參數，提升模型性能。
dask/distributed DaskDistributed 是一個用於分佈式計算的Python 庫，它提供了一個任務調度器，可以將計算任務分配到多個工作節點上執行，從而加速計算速度。該庫使用Dask 的數據結構來管理和協調分佈式計算，並提供了一系列工具來簡化分佈式計算的開發和部署。 Dask Distributed 適用於各種計算場景，例如數據分析、機器學習和科學計算。
FederatedAI/FATE FATE（Federated AI Technology Enabler）是全球首個工業級聯邦學習開源框架，使企業和機構能夠在保護數據安全和隱私的同時進行數據協作。它實現了基於同態加密和多方計算（MPC）的安全計算協議。 FATE支持各種聯邦學習場景，現在提供了大量的聯邦學習算法，包括邏輯回歸、基於樹的算法、深度學習和遷移學習。
dask/dask-ml Dask-ML是一個Python 庫，它使用Dask 擴展了流行的機器學習庫（如Scikit-Learn 和XGBoost），以實現可擴展的機器學習。它允許你在大數據集上訓練模型，並利用多核CPU 或分佈式集群來加速計算。你可以通過Dask-ML 在雲端實例上嘗試使用機器學習，並通過其文檔了解更多信息。
ROCm/tensorflow-upstream TensorFlow ROCm端口是TensorFlow 的一個版本，它針對AMD 的ROCm 平台進行了優化，支持使用AMD GPU 進行機器學習訓練和推理。該項目提供了預編譯的whl 包，用戶可以使用pip 命令安裝，並使用docker 容器快速搭建ROCm 環境。項目還提供了詳細的文檔和教程，幫助用戶快速上手。
huggingface/accelerate 一個簡單的API，將與多GPUTPU、fp16相關的樣板代碼抽離了出來，保持其餘代碼不變。 PyTorch 用戶無須使用不便控制和調整的抽像類或編寫、維護樣板代碼，就可以直接上手多GPU 或TPU。 Accelerate 支持的集成包括：CPU 單GPU 單一節點多GPU 多節點多GPU TPU 帶有本地AMP 的FP16.
alibaba/FederatedScope 綜合性的聯邦學習平台，為學術界和工業界的各種聯邦學習任務提供方便的使用和靈活的定制。 FederatedScope基於事件驅動的架構，集成了豐富的功能集合，以滿足聯邦學習日益增長的需求，旨在構建一個易於使用的平台，以安全有效地促進學習。
Oneflow-Inc/libai 基於OneFlow的大規模模型訓練開源工具箱。支持豐富的並行訓練配置，包括但不限於分佈式訓練、混合精度訓練、後向重計算、ZeRO，多樣化的訓練技巧，同時支持視覺與自然語言處理任務、簡單易用，便於上手。
hpcaitech/ColossalAI 用於大規模並行訓練的統一深度學習系統,具有高效並行化技術的集成大規模模型訓練系統。可以讓您在幾行代碼內快速開始分佈式訓練，通過並行化策略、異構內存管理為深度學習任務加速或者節省顯存。
BaguaSys/bagua 八卦是由快手科技和DS3 Lab共同開發的PyTorch深度學習訓練加速框架。目前支持：高級分佈式訓練算法：用戶只需添加幾行代碼（可選擇彈性模式）即可將單個GPU 上的訓練擴展到多GPU（可能跨多台機器）。
Xtra-Computing/FedTree 基於樹的模型的聯合學習系統。它的設計目的是高效、有效和安全。目前具有以下特點:梯度提升決策樹的聯合訓練。多核CPU 和GPU 上的並行計算。支持同態加密、安全聚合和差分隱私。支持分類和回歸。
alibaba/Elastic-Federated-Learning-Solution 經過百億規模工業級場景實戰驗證的跨互聯網企業信息合作的聯邦學習框架。 EFLS有以下核心特性：雲原生支持自定義特徵工程——大規模高可用；首開水平聚合，層次聚合雙模型——更強大更便捷。
Qihoo360/XLearning 支持多種機器學習、深度學習框架調度系統。基於Hadoop Yarn完成了對TensorFlow、MXNet、Caffe、Theano、PyTorch、Keras、XGBoost等常用框架的集成，同時具備良好的擴展性和兼容性。
microsoft/SynapseML 簡單和分佈式機器學習。基於Apache Spark 分佈式計算框架構建，與SparkML/MLLib 庫共享相同的API，允許您將SynapseML 模型無縫嵌入到現有的Apache Spark 工作流程中。
horovod/horovod Uber開源的分佈式訓練框架。它的發展吸取了Facebook ”Training ImageNet In 1 Hour” 與百度”Ring Allreduce” 的優點，可為用戶實現分佈式訓練提供幫助。
FMInference/FlexGen 高吞吐量的生成引擎，用於在GPU內存有限的情況下運行大型語言模型。 FlexGen允許通過IO高效分載、壓縮和大有效批處理大小生成高吞吐量。
alibaba/euler 大規模分佈式的圖學習框架，配合TensorFlow或者阿里內部的XDL等深度學習工具，可以支持數十億點數百億邊的複雜異構圖上進行模型訓練。
ray-project/ray 提供用於構建分佈式應用程序的簡單通用API的開源框架。 Ray與RLlib（可擴展的強化學習庫和Tune（可擴展的超參數調優庫）打包在一起。
petuum/adaptdl 一個能動態調整併行度的深度神經網絡訓練框架。它支持多租戶集群管理，可以平衡模型訓練等待及完成時間，能夠提高資源利用率。
NousResearch/DisTrO 這是DisTrO（互聯網上的分佈式訓練）的存儲庫，這是一系列低延遲分佈式優化器，可將GPU 間通信要求降低三到四個數量級。
petuum/adaptdl 資源自適應深度學習（DL）訓練和調度框架。 AdaptDL的目標是使分佈式DL在動態資源環境（如共享集群和雲）中變得輕鬆高效。
Angel-ML/angel 用於大規模機器學習的靈活而強大的參數服務器。基於參數服務器理念的高性能分佈式機器學習和圖計算平台。
microsoft/DeepSpeedExamples 此存儲庫包含各種示例，包括訓練、推理、壓縮、基準測試和使用DeepSpeed 的應用程序。
dask/dask 用Python編寫的，是一個靈活的、開源的並行計算庫，提供大規模性能高級並行性。
sql-machine-learning/elasticdl Kubernetes原生的深度學習框架，支持容錯和彈性調度,支持TensorFlow和PyTorch。
alibaba/Alink Alink是基於Flink的機器學習算法平台，由阿里巴巴計算平台的PAI團隊開發。
kakaobrain/torchgpipe pytorch的可擴展管道並行性庫，可有效地訓練大型的，消耗內存的模型。
FedML-AI/FedML 面向研究的聯邦學習庫。支持分佈式計算，移動/IoT設備訓練和模擬
PKU-DAIR/Hetu 針對大規模和自動化分佈式訓練的高性能分佈式深度學習系統。
microsoft/DeepSpeed 深度學習優化庫，它使分佈式訓練變得容易，高效和有效。
kubeflow/kubeflow 用於機器學習操作的雲原生平台- 管道、訓練和部署。
youngfish42/Awesome-Federated-Learning-on-Graph-and-Tabular-Data 圖形和表格數據相關論文、框架和數據集的聯邦學習。
uber/fiber 簡化AI的分佈式計算該項目是實驗性的，API不穩定。
tensorflow/mesh 簡化模型並行化Mesh TensorFlow: Model Parallelism Made Easier
learning-at-home/hivemind 一個用於在互聯網上訓練大型神經網絡的庫
facebookresearch/fairscale 用於高性能和大規模訓練的PyTorch 擴展。
microsoft/PersonalizedFL 面向研究的個性化聯邦學習代碼庫
maxpumperla/hyperas Hyperas是一個將Keras 與Hyperopt 結合在一起的工具，它簡化了Keras 模型超參數優化過程。 Hyperas 允許用戶使用熟悉的Keras 語法定義模型，並使用簡單的模板標記定義要優化的超參數範圍。用戶只需要將要優化的參數用雙花括號括起來，並選擇一個分佈來運行算法。例如，可以使用{{uniform(0, 1)}}來定義一個在0 到1 之間的均勻分佈，用於優化Dropout 層的概率。 Hyperas 會自動將這些參數傳遞給Hyperopt，並使用指定的算法（如TPE）進行優化。最後，Hyperas 會返回最佳的超參數組合，以及相應的模型。用戶可以通過optim.minimize()函數運行優化過程，並指定數據生成函數、模型定義函數、算法、最大評估次數和試驗對象。 Hyperas 提供了完整的示例代碼，展示瞭如何使用它來優化Keras 模型的各種參數，包括Dropout 概率、層輸出大小、激活函數等。
aimclub/FEDOT FEDOT是一個開源的自動化建模和機器學習（AutoML）框架，它使用3-Clause BSD許可證發布。 FEDOT可以自動生成機器學習管道，用於解決各種現實世界問題，包括分類（二元和多元）、回歸、聚類和時間序列預測。 FEDOT的核心基於進化方法，它允許用戶自定義管道，並支持各種模型和數據類型，包括文本、圖像和表格數據。此外，FEDOT還支持廣泛使用的機器學習庫（如Scikit-learn、CatBoost、XGBoost等），並允許用戶集成自定義模型。 FEDOT提供了多種超參數調優方法，並支持自定義評估指標和搜索空間。 FEDOT不僅限於特定的建模任務，還可以用於解決常微分方程（ODE）或偏微分方程（PDE）等問題。用戶可以將生成的管道導出為JSON格式，或與輸入數據一起打包為ZIP存檔，以確保實驗的可重複性。
salesforce/TransmogrifAI TransmogrifAI是一個基於Apache Spark 的AutoML 庫，它可以幫助你快速構建模塊化、可複用、強類型化的機器學習工作流，並最大限度地減少手動調整。 TransmogrifAI 使用Scala 編寫，旨在通過機器學習自動化和API 來加速機器學習開發人員的生產力，該API 能夠在編譯時強制執行類型安全性、模塊化和可複用性。 TransmogrifAI 能夠在幾乎100 倍的時間減少的情況下，實現與手動調整的模型相似的精度。如果你需要一個機器學習庫來構建生產就緒的機器學習應用程序、構建無需機器學習博士學位的機器學習模型或構建模塊化、可複用、強類型化的機器學習工作流，那麼TransmogrifAI 是你的不二之選。
reiinakano/xcessiv Xcessiv是一個基於Web的Python工具，用於快速、可擴展和自動化的超參數調整和堆疊集成。它簡化了堆疊集成的實現，允許用戶定義模型、性能指標和交叉驗證過程，並通過點擊按鈕創建集成。 Xcessiv支持Scikit-learn API模型，並利用任務隊列架構進行並行超參數搜索。它還集成了TPOT進行自動管道構建，並提供貝葉斯優化、自動保存元特徵和貪婪向前模型選擇等功能。用戶可以將堆疊集成導出為獨立的Python文件，以支持多級堆疊。 Xcessiv旨在簡化堆疊集成的構建，並降低其使用門檻，即使不使用集成功能，它也能有效地管理和比較數百甚至數千個機器學習模型和超參數組合。
ray-project/tune-sklearn tune-sklearn是一個Scikit-Learn 的模型選擇模塊（GridSearchCV、RandomizedSearchCV）的替代方案，它使用最新的超參數調整技術。它與Scikit-Learn API 兼容，只需修改少量代碼即可使用。 tune-sklearn 支持貝葉斯優化、HyperBand、BOHB等優化技術，並利用Ray Tune 進行分佈式超參數調整，可在多個核心和機器上並行化交叉驗證。 tune-sklearn 支持Scikit-Learn 模型，以及Skorch（Pytorch）、KerasClassifier（Keras）和XGBoostClassifier（XGBoost）等框架。對於某些估計器，tune-sklearn 可以啟用增量訓練和提前停止，例如支持“warm_start”的估計器、支持部分擬合的估計器以及XGBoost、LightGBM 和CatBoost 模型。
LiYangHart/Hyperparameter-Optimization-of-Machine-Learning-Algorithms 該項目提供機器學習算法超參數優化/調優方法的實現，包含論文中介紹的理論和實踐方法，並提供回歸和分類問題的示例代碼。項目特色包括：介紹多種超參數優化技術，提供選擇優化技術的指南，並提供常用的Python 庫和框架。項目還包含實驗結果和開放挑戰，幫助用戶有效地選擇合適的超參數配置，提昇機器學習模型的性能。該項目還提供一個完整的自動化機器學習(AutoML)教程代碼，包含自動數據預處理、特徵工程、模型選擇、超參數優化和模型更新等功能。
facebook/Ax Ax是一個通用平台，用於理解、管理、部署和自動化自適應實驗。它支持貝葉斯優化和bandit優化，並利用BoTorch 庫進行貝葉斯優化。 Ax 支持多種類型的實驗，包括動態機器學習輔助A/B 測試和機器學習中的超參數優化。它提供多種API，包括服務API、循環API 和開發者API，以滿足不同需求。 Ax 具有可定制性、生產完整性、多模態和約束實驗支持，以及針對高噪聲環境的效率。用戶可以使用Ax 輕鬆地進行優化，例如使用Booth 響應曲面進行優化。
ARM-software/mango Mango是一個Python 庫，用於為機器學習分類器找到最佳超參數。它支持對連續、離散和分類值的複雜搜索空間進行並行優化。 Mango 具有以下特點：易於定義與scikit-learn 兼容的複雜搜索空間；採用新穎的、最先進的無梯度優化器，適用於連續、離散和分類值；模塊化設計，可在本地、集群或云基礎設施上調度目標函數；在應用程序層進行故障檢測，以實現商品硬件上的可擴展性；由於在生產環境中的測試和使用，不斷添加新功能。
sberbank-ai-lab/LightAutoML LightAutoML(LAMA) 是由Sber AI Lab 開發的自動機器學習框架，支持二元分類、多分類和回歸任務。它能夠自動創建模型，並提供可解釋性。 LAMA 使用AutoWoE 庫來自動創建可解釋的模型。目前版本支持具有獨立樣本的行數據集，即每行都是一個具有特定特徵和目標的對象。多表數據集和序列正在開發中。可以通過pip 安裝LAMA，並通過簡單的代碼示例快速上手。此外，LAMA 還提供GPU 版本，用於加速模型訓練。
cerlymarco/shap-hypetune shap-hypetune是一個Python包，用於同時進行梯度提升模型的超參數調優和特徵選擇。它將這兩個步驟整合到一個管道中，以優化特徵數量並蒐索最佳參數配置，從而提高模型性能。該包支持多種特徵選擇算法，包括遞歸特徵消除（RFE）、遞歸特徵添加（RFA）和Boruta，並允許使用經典的提升特徵重要性或SHAP特徵重要性。此外，它還支持網格搜索、隨機搜索和貝葉斯搜索，並利用joblib進行並行計算。
autonomio/talos Talos是一個用於TensorFlow (tf.keras) 和Keras 的超參數實驗自動化工具，它簡化了超參數優化和模型評估過程。 Talos允許用戶使用熟悉的TensorFlow (tf.keras) 和Keras 語法，無需學習新的語法或模板。它支持各種優化策略，包括隨機搜索、網格搜索和概率優化器，並提供模型泛化評估、實驗分析和實時訓練監控等功能。 Talos 在Linux、Mac OSX 和Windows 系統上運行，並支持CPU、GPU 和多GPU 系統。
DeepWisdom/AutoDL AutoDL是一個完全自動化的深度學習系統，無需任何人工干預。它是NeurIPS AutoDL 挑戰賽的第一個解決方案，能夠自動進行深度學習模型的構建和訓練，適用於各種數據類型，例如圖像、視頻、文本、表格數據等，並能取得優異的性能。 AutoDL能夠自動完成數據預處理、特徵工程、模型選擇、超參數優化等步驟，有效地簡化了深度學習應用的流程，並顯著提高了模型的準確性和效率。
automl/HpBandSter HpBandSter是一個用於分佈式超參數優化的Python 3框架，它最初是Hyperband（Li等人，2017）的簡單實現，並包含BOHB（Falkner等人，2018）的實現。該項目不再維護，推薦使用其繼任者SMAC3或DEHB。 SMAC3是一個功能強大的HPO包，包含不同的HPO策略，並使用RF或GP作為預測模型。 DEHB則結合了差分進化和Hyperband。項目文檔包含快速入門指南和示例，可幫助用戶將實現的優化器應用於自己的問題。
google/vizier GoogleVizier 是一個基於Python 的黑盒優化和超參數調優研究接口，它基於Google 內部Vizier 服務。它提供了一個分佈式客戶端-服務器系統，支持多種搜索空間類型，包括浮點數、整數、離散值和分類值。用戶可以通過簡單的API 接口定義目標函數、搜索空間和度量指標，並使用Vizier 服務進行優化。該項目還提供開發者API 和基準測試API，方便用戶進行算法研究和比較。
syne-tune/syne-tune Syne Tune是一個用於超參數和架構優化的開源庫，它提供了一系列先進的算法，可以輕鬆地進行大規模、可重複的超參數優化。 Syne Tune 的特點包括：輕量級且平台無關，支持多種HPO 方法，設計簡單且模塊化，提供強大的貝葉斯優化功能，支持分佈式工作負載，以及易於使用和擴展。 Syne Tune 可以幫助你快速高效地進行超參數優化，並支持在不同的計算環境中運行。
sb-ai-lab/LightAutoML LightAutoML(LAMA) 是一個快速且可定制的自動機器學習模型創建框架，支持表格數據、時間序列數據、圖像數據和文本數據。它提供兩種使用方式：預置模型，只需幾行代碼即可創建模型；框架模式，可使用預置模塊構建自定義管道。 LAMA擁有豐富的資源，包括Kaggle 競賽解決方案、Google Colab 教程和示例，方便用戶學習和使用。
AxeldeRomblay/MLBox MLBox是一個強大的自動化機器學習Python庫，它提供快速數據預處理、特徵選擇、超參數優化、先進的預測模型（深度學習、堆疊、LightGBM等）以及模型解釋功能。用戶可以參考官方文檔了解更多信息，並通過貢獻測試、文檔、示例或報告問題來參與項目。
PKU-DAIR/open-box 通用且高效的黑盒優化系統。旨在解決泛化的黑盒優化（BBO）問題， 例如自動化超參數調優、自動化A/B測試、 實驗設計、數據庫參數調優、處理器體系結構和電路設計、資源分配等。
google/automl Google Brain AutoML項目包含一系列與自動機器學習相關的模型和庫，旨在幫助用戶自動構建和優化機器學習模型，無需手動調整參數和超參數。
thunlp/OpenDelta 用於參數高效方法的工具包（增量調整），用戶可以通過它靈活地分配（或添加）少量參數以進行更新，同時保持大多數參數不變。
scikit-optimize/scikit-optimize 一個簡單高效的庫，可最大限度地減少（非常）昂貴且嘈雜的黑盒功能。它實現了幾種基於順序模型優化的方法。
noah-research/BO/HEBO/CompBO 使用組合優化器進行貝葉斯優化,由華為研發、諾亞方舟實驗室（倫敦）開發的貝葉斯優化代碼庫
CMA-ES/pycma 基於CMA-ES 協方差矩陣的自適應策略的Py實現和一些相關的數值優化工具。
HDI-Project/BTB Bayesian Tuning and Bandits，auto-tuning系統的一個簡單、可擴展的後端系統。
HunterMcGushion/hyperparameter_hunter 跨機器學習算法和庫的輕鬆超參數優化和自動結果保存
Yelp/MOE 用於現實世界的指標優化的全局黑匣子優化引擎。
automl/SMAC3 基於序列模型的算法配置優化任意算法的參數
jina-ai/finetuner 微調任何DNN 以更好地嵌入神經搜索任務
fmfn/BayesianOptimization 具有高斯過程的全局優化的Python實現。
huawei-noah/HEBO 華為諾亞方舟庫開發的貝葉斯優化庫
facebookresearch/nevergrad 用於執行無梯度優化的Python工具箱
JasperSnoek/spearmint 機器學習算法的實用貝葉斯優化
SheffieldML/GPyOpt 使用GPy進行高斯過程優化
dragonfly/dragonfly 用於可擴展的貝葉斯優化
keras-team/keras-tuner keras的超參數調整庫。
pytorch/botorch PyTorch中的貝葉斯優化
ray-project/ray Tune可伸縮超參數調整
hyperopt/hyperopt 分佈式超參數優化
optuna/optuna 超參數優化框架
WillKoehrsen/hyperparameter-optimization 超參數優化
openvinotoolkit/anomalib Anomalib是一個深度學習庫，用於收集最先進的異常檢測算法，並在公共和私有數據集上進行基準測試。它提供多種現成的異常檢測算法實現，以及用於開發和部署自定義模型的工具集。該庫專注於視覺異常檢測，旨在檢測和定位圖像或視頻數據集中的異常。 Anomalib 持續更新新的算法和訓練/推理擴展，並支持使用OpenVINO 進行加速推理。
yzhao062/SUOD SUOD是一個用於大規模無監督異構異常檢測的加速框架，它針對高維數據、複雜模型和分佈式系統中的任務負載不平衡等問題，通過降維、模型近似和執行效率提升等方法來加速訓練和預測過程，同時控制檢測性能下降。該框架已成功應用於學術研究和工業應用中，並被集成到PyOD庫中，可方便地使用。
capitalone/dataprofiler DataProfiler是一個Python庫，用於簡化數據分析、監控和敏感數據檢測。它能一鍵加載多種格式數據（CSV、AVRO、Parquet、JSON等），自動生成數據概要，包括模式、統計信息和實體（PII/NPI）等。該庫內置預訓練深度學習模型用於高效識別敏感數據，並支持自定義實體識別模型。
awslabs/realtime-fraud-detection-with-gnn-on-dgl 實時欺詐檢測（利用圖形數據庫Amazon Neptune）的端到端解決方案，使用Amazon SageMaker 和DGL從表格數據構建異構圖形並訓練GNN模型來檢測IEEE-CIS 數據集中的欺詐交易。
mangushev/mtad-gat 基於圖注意力網絡的多變量時間序列異常檢測模型
kLabUM/rrcf 用於異常檢測的魯棒隨機砍伐森林算法的實現
d-ailin/GDN 基於圖神經網絡的多變量時間序列異常檢測
yzhao062/anomaly-detection-resources 異常檢測相關書籍、論文、視頻和工具箱
safe-graph/UGFraud 用於欺詐檢測的基於圖的無監督工具箱
squareRoot3/Rethinking-Anomaly-Detection 重新思考用於異常檢測的圖神經網絡
manigalati/usad 多變量時間序列的無監督異常檢測
DHI/tsod 時間序列數據異常檢測
leibinghe/GAAL-based-outlier-detection 基於蓋爾的異常檢測
hoya012/awesome-anomaly-detection 異常檢測列表
yzhao062/pyod 異常檢測庫
catboost/tutorials CatBoost tutorials倉庫提供了一系列教程，涵蓋CatBoost的基本使用、分類、排序、特徵選擇、模型分析、自定義損失函數以及模型應用等方面。教程以Python、R和命令行三種方式呈現，並包含針對不同應用場景的示例，例如使用CatBoost解決二元分類和多元分類問題、在Microsoft數據集上進行排序學習、評估特徵重要性、使用SHAP可視化特徵重要性、將模型導出為JSON格式、可視化決策樹、計算特徵統計信息以及將模型應用於iOS設備、C++代碼、Python代碼、Java應用程序和Rust應用程序。
kingfengji/mGBDT 該項目是NIPS 18 論文"Multi-Layered Gradient Boosting Decision Trees (mGBDT)" 的官方實現，提供了一個基於Python 的mGBDT 庫，以及一些演示腳本，用於展示如何使用該代碼。該庫允許用戶靈活地修改模型或適應自己的數據集。 mGBDT 通過添加多個目標傳播層，將多個梯度提升決策樹（GBDT）組合在一起，以提高模型的表達能力和泛化能力。該項目包含一個演示代碼，展示瞭如何使用mGBDT 庫訓練一個多層GBDT 模型，並對合成圓形數據集進行預測和可視化。
benedekrozemberczki/awesome-decision-tree-papers 這是一個關於決策樹、分類樹和回歸樹研究論文的精選列表，包含來自多個領域的論文實現，包括機器學習、計算機視覺、自然語言處理、數據挖掘和人工智能。該項目收集了來自NeurIPS、ICML、ICLR、CVPR、ICCV、ECCV、ACL、NAACL、EMNLP、KDD、CIKM、ICDM、SDM、PAKDD、PKDD/ECML、SIGIR、WWW、WSDM、AAAI、AISTATS、ICANN、IJCAI 和UAI 等重要會議的論文。此外，還提供了類似的集合，包含關於圖分類、梯度提升、欺詐檢測、蒙特卡洛樹搜索和社區檢測的論文實現。
AnotherSamWilson/miceforest miceforest是一個基於LightGBM的快速、內存高效的Python多重插補庫，它實現了鍊式方程多重插補(MICE)方法。該庫利用LightGBM的強大功能，提供快速且靈活的插補解決方案，並支持GPU訓練。 miceforest可以處理pandas數據框，自動處理分類數據，並與sklearn管道集成。它還支持保存和加載模型，以及對新數據集進行插補。 miceforest旨在為數據科學家提供一個高效且易於使用的工具，用於處理缺失數據。
benedekrozemberczki/awesome-gradient-boosting-papers 這是一個精心整理的梯度提升研究論文列表，包含實現代碼。該項目收集了來自機器學習、計算機視覺、自然語言處理、數據挖掘和人工智能等領域的論文，涵蓋了梯度提升和自適應提升算法，並提供了相應的實現代碼。該項目還包含了其他類似的論文列表，例如圖分類、決策樹、欺詐檢測、蒙特卡洛樹搜索和社區檢測等。
stanfordmlgroup/ngboost NGBoost是一個基於Python 的庫，實現了自然梯度提升算法，用於概率預測。它基於Scikit-Learn 構建，可擴展且模塊化，支持多種評分規則、分佈和基礎學習器。該庫基於論文"NGBoost: Natural Gradient Boosting for Probabilistic Prediction"，並提供用戶指南，包含大量使用示例和添加新分佈或評分規則的說明。
serengil/chefboost ChefBoost是一個輕量級的決策樹框架，支持Python 中的常用算法（ID3、C4.5、CART、CHAID 和回歸樹）和一些高級技術（梯度提升、隨機森林和Adaboost），並支持分類特徵。它易於使用，只需幾行代碼即可構建決策樹。 ChefBoost可以處理數值和名義特徵以及目標值，無需進行預處理。
Microstrong0305/WeChat-zhihu-csdnblog-code Regression Tree 回歸樹深入理解提升樹（Boosting tree）算法深入理解GBDT回歸GBDT二分類算法GBDT多分類算法XGBoost LightGBM CatBoost 深入淺出Word2Vec原理解析Doc2vec原理解析及代碼實踐
catboost/catboost 一個快速、可擴展、高性能的決策樹梯度提升庫，用於Python、R、Java、C++ 的排名、分類、回歸和其他機器學習任務。 支持在CPU 和GPU 上進行計算。
dmlc/xgboost 可擴展、可移植和分佈式梯度提升（GBDT、GBRT 或GBM）庫，適用於Python、R、Java、Scala、C++ 等。 在單機、Hadoop、Spark、Dask、Flink 和DataFlow 上運行。
microsoft/LightGBM 基於決策樹算法的快速、分佈式、高性能梯度提升（GBT、GBDT、GBRT、GBM 或MART）框架，用於排名、分類和許多其他機器學習任務。
antmachineintelligence/mtgbmcode 提出了多任務梯度提昇機(MT-GBM)，這是一種基於GBDT 的多任務學習方法。 MT-GBM 可以根據多任務損失找到共享樹結構和拆分分支。
DataCanvasIO/HyperGBM 用於表格數據的完整管道AutoML 工具, 涉及多個梯度提升樹模型（GBM），即XGBoost、LightGBM和Catboost。
mesalock-linux/gbdt-rs MesaTEE GBDT-RS：一個快速且安全的GBDT 庫，支持Intel SGX 和ARM TrustZone 等TEE
kingfengji/gcForest 這是論文“深度森林：走向深度神經網絡的替代方案”的官方實現
tensorflow/decision-forests 一組最先進的算法，用於訓練、服務和解釋Keras 決策森林模型。
motefly/DeepGBM 為在線預測任務提煉的深度學習GBDT框架
Xtra-Computing/thundergbm ThunderGBM：GPU 上的快速GBDT 和隨機森林
GBDT-PL/GBDT-PL 使用分段線性樹進行梯度提升
augboost-anon/augboost 逐步特徵增強的梯度提升。
LAMDA-NJU/Deep-Forest Deep Forest 2021.2.1的實現
hlamotte/decision-tree 在C++的決策樹
parrt/random-forest-importances 該項目提供了一種更可靠的特徵重要性計算方法，用於評估scikit-learn機器學習模型，特別是隨機森林模型。它通過排列重要性（permutation importance）和刪除列重要性（drop-column importance）來彌補scikit-learn默認的基於基尼重要性的方法的不足。排列重要性通過打亂特徵值並觀察模型性能的變化來衡量特徵的重要性，而刪除列重要性則通過移除特徵並觀察模型性能的變化來衡量特徵的重要性。該項目包含一個名為rfpimp的Python包，可用於計算這些重要性指標，並提供示例代碼和筆記本，演示如何使用該包分析特徵重要性。
upgini/upgini Upgini是一個智能數據搜索引擎，提供Python 庫，幫助您從數百個公共、社區和付費外部數據源中找到並添加相關特徵到您的機器學習管道。 Upgini 自動優化所有連接的數據源，通過使用大型語言模型(LLMs)、圖神經網絡(GraphNNs) 和循環神經網絡(RNNs) 生成最佳的機器學習特徵集，從而顯著提升模型精度。 Upgini 的目標是簡化特徵搜索和豐富過程，使外部數據成為機器學習的標準方法，就像現在的超參數調整一樣。 Upgini 的使命是為數據科學社區提供數據源的民主化訪問。
logicalclocks/hopsworks Hopsworks是一個面向機器學習的Python-centric 特徵存儲平台，提供MLOps功能。它可以作為獨立的特徵存儲使用，也可以用於管理、治理和服務模型，甚至用於開發和運行特徵管道和訓練管道。 Hopsworks 為機器學習團隊提供協作功能，為開發、管理和共享機器學習資產（特徵、模型、訓練數據、批次評分數據、日誌等）提供安全、治理的平台。 Hopsworks 提供三種部署方式：無服務器應用（通過app.hopsworks.ai 訪問）、雲平台（支持Azure、AWS 和GCP）和本地安裝。
feature-engine/feature_engine Feature-engine是一個Python庫，提供多個轉換器，用於對機器學習模型進行特徵工程和特徵選擇。 Feature-engine的轉換器遵循Scikit-learn的功能，使用fit()和transform()方法從數據中學習轉換參數，然後進行轉換。該庫包含了各種特徵工程技術，例如缺失值處理、特徵縮放、特徵編碼、特徵生成等。它還提供了一些特徵選擇方法，例如基於方差的特徵選擇、基於相關性的特徵選擇等。 Feature-engine易於使用，並與Scikit-learn等其他機器學習庫無縫集成。
solegalli/feature_engine Feature-engine是一個Python庫，提供多個轉換器用於機器學習模型的特徵工程和選擇。 Feature-engine的轉換器遵循Scikit-learn的功能，使用fit()和transform()方法從數據中學習轉換參數，然後進行轉換。該庫包含用於特徵工程和選擇的多種轉換器，例如缺失值處理、特徵縮放、特徵編碼、特徵生成、特徵選擇等。 Feature-engine在TrainInData的在線課程和書籍中被廣泛使用，並提供詳細的文檔和示例。
AutoViML/featurewiz FeatureWiz是一個基於MRMR算法的自動特徵選擇庫，只需一行代碼即可從數據集中選擇最佳特徵，並使用高級特徵工程策略。它可以自動選擇最相關的特徵，無需指定數量，並提供內置的分類到數值的編碼器。 FeatureWiz還包含一個特徵工程模塊，可以輕鬆地創建新的特徵，並提供自動編碼器以生成更多特徵，幫助提高模型性能。
haifengl/smile Smile（統計機器智能和學習引擎）是Java和Scala中的快速而全面的機器學習，NLP，線性代數，圖形，插值和可視化系統。憑藉先進的數據結構和算法，Smile 可提供最先進的性能。
RUCAIBox/Negative-Sampling-Paper 該知識庫收錄了與負採樣方法相關的100 篇論文，涵蓋推薦系統（RS）、計算機視覺（CV）、自然語言處理（NLP）和對比學習（CL）等多個研究領域。
aerdem4/lofo-importance LOFO（Leave One Feature Out）重要性基於選擇的度量計算一組特徵的重要性，對於選擇的模型，通過迭代地從集合中刪除每個特徵，並評估模型的性能。
ResidentMario/missingno 靈活且易於使用的缺失數據可視化和實用程序，可讓您快速直觀地了解數據集的完整性（或缺乏完整性）。
imbalanced-learn 解決機器學習中不平衡數據集
FeatureLabs/featuretools 特徵工程工具箱
ScienceKot/kydavra 特徵篩選工具
Western-OC2-Lab/AutoML-Implementation-for-Static-and-Dynamic-Data-Analytics 該項目提供了一個用於靜態和動態數據分析的自動化機器學習(AutoML)實現，包含一個使用多種機器學習算法和優化/AutoML 方法進行物聯網異常檢測的案例研究。它涵蓋了機器學習/數據分析管道中所有重要步驟的自動化，包括自動化數據預處理、自動化特徵工程、自動化模型選擇、超參數優化(HPO) 和自動化模型更新（模型漂移適應）。該項目還可用作教程，幫助機器學習研究人員自動獲得在任何特定任務上具有最佳學習性能的優化機器學習模型。該項目支持批處理/靜態學習和在線/持續學習，並提供了一個完整的超參數優化教程代碼。該項目是發表在《工程應用人工智能》期刊上的綜述論文的實現，並提供了一個詳細的AutoML 管道和流程，包括自動化數據預處理、自動化特徵工程、自動化模型選擇、超參數優化和自動化模型更新。
google-research/morph-net MorphNet是一種在訓練過程中學習深度網絡結構的方法，其核心原理是將網絡結構學習問題進行連續鬆弛。 MorphNet 正則化器會降低濾波器的影響，當濾波器足夠小時，相應的輸出通道會被標記為從網絡中移除。該項目提供了一種名為FiGS 的新方法，它是一種概率方法，可以用來進行通道正則化，並可以作為一種剪枝算法或一種完整的可微架構搜索方法。 MorphNet 可以用於壓縮現有模型，以滿足內存、延遲等約束條件，它不會改變網絡的拓撲結構，而是通過調整每個卷積層的輸出通道數量來實現模型壓縮。用戶可以選擇不同的正則化器來實現不同的目標，例如FLOPs 或延遲。該項目推薦使用LogisticSigmoid正則化器，它需要在需要剪枝的層之後添加一個概率門控操作。
DXY/AutoDL-Projects AutoDL-Projects是一個開源的、輕量級的、但對每個人都有用的項目，它實現了多種神經架構搜索(NAS) 和超參數優化(HPO)算法。該項目適合想要嘗試不同AutoDL 算法的初學者、想要嘗試AutoDL 以調查其是否適用於其項目的工程師，以及想要輕鬆實現和實驗新AutoDL 算法的研究人員。 AutoDL-Projects 的特點包括簡單的庫依賴關係、所有算法都在同一個代碼庫中，以及積極的維護。該項目目前提供了以下算法和腳本：TAS、DARTS、GDAS、SETN、NAS-Bench-201 和NATS-Bench。
carpedm20/ENAS-pytorch ENAS-pytorch 是一個基於PyTorch 的實現，用於高效的神經網絡架構搜索(ENAS)，該項目通過參數共享來減少NAS 的計算需求（GPU小時）1000 倍。該項目在Penn Treebank 語言建模方面取得了最先進的結果。 ENAS 通過一個控制器LSTM 來決定使用何種激活函數以及連接哪些節點，從而發現RNN 細胞。該項目還包括用於發現CNN 架構的代碼，以及用於生成GIF 圖像的代碼，以展示生成的樣本。
joeddav/devol DEvol是一個基於Keras的遺傳神經網絡架構搜索工具，用於分類問題。它使用基因編碼來表示模型結構，並通過交叉和變異操作進行進化，以尋找最優的網絡架構。 DEvol在MNIST數據集上取得了99.4%的準確率，優於手動構建的模型。該項目可以擴展到其他輸出類型，並支持並行訓練、早停、減少訓練輪數和參數選擇等優化策略，以降低計算成本。
markdtw/awesome-architecture-search 這是一個精選的架構搜索和超參數優化資源列表，涵蓋了強化學習、進化算法等方法，並包含了相關論文和代碼鏈接。該項目旨在為研究人員和開發者提供一個便捷的資源庫，方便他們探索和應用架構搜索技術。
PaddlePaddle/PaddleSlim 一個用於深度模型壓縮和架構搜索的開源庫。提供低比特量化、知識蒸餾、稀疏化和模型結構搜索等模型壓縮策略，幫助用戶快速實現模型的小型化。
microsoft/nni 用於自動化機器學習生命週期的開源AutoML工具包，包括功能工程，神經體系結構搜索，模型壓縮和超參數調整。
awslabs/autogluon 用於深度學習的AutoML工具包autogluon.mxnet.io
huawei-noah/CARS 華為提出基於進化算法和權值共享的神經網絡結構搜索
xiaomi-automl/FairDARTS 消除差異化架構搜索中的不公平優勢
ianwhale/nsga-net 使用多目標遺傳算法的神經架構搜索
researchmm/CDARTS 循環可微架構搜索
human-analysis/neural-architecture-transfer 神經架構遷移
openai/gpt-3 語言模型是少樣本的學習器。最近的工作表明，通過對大量文本語料庫進行預訓練，然後對特定任務進行微調，在許多NLP任務和基準測試上取得了實質性進展。雖然在架構中通常與任務無關，但這種方法仍然需要特定於任務的數千或數万個示例的微調數據集。相比之下，人類通常只能從幾個例子或簡單的指令中執行新的語言任務——這是當前NLP系統仍然難以做到的。在這裡，我們表明，擴展語言模型可以大大提高與任務無關的少鏡頭性能，有時甚至可以通過先前最先進的微調方法達到競爭力。具體來說，我們訓練GPT-3，一種具有1750 億個參數的自回歸語言模型，比之前任何非稀疏語言模型多10 倍，並在少數鏡頭設置中測試其性能。對於所有任務，GPT-3 在沒有任何梯度更新或微調的情況下應用，任務和少數鏡頭演示純粹通過與模型的文本交互來指定。 GPT-3 在許多NLP 數據集上實現了強大的性能，包括翻譯、問答和完形填空任務，以及一些需要即時推理或領域適應的任務，例如解密單詞、在句子中使用新單詞或執行3 位數算術。同時，我們還確定了GPT-3 的少數鏡頭學習仍在掙扎的一些數據集，以及GPT-3 面臨與大型網絡語料庫訓練相關的方法問題的一些數據集。最後，我們發現GPT-3 可以生成人類評估人員難以區分的新聞文章樣本與人類撰寫的文章。我們討論了這一發現和一般GPT-3 更廣泛的社會影響。
argosopentech/argos-translate Argos Translate是一個開源的離線翻譯庫，使用Python編寫，基於OpenNMT進行翻譯，可作為Python庫、命令行工具或GUI應用程序使用。它支持安裝語言模型包，這些包是包含翻譯所需數據的zip壓縮文件，擴展名為“.argosmodel”。 LibreTranslate是一個基於Argos Translate的API和網頁應用。 Argos Translate還支持通過中間語言自動進行語言轉換，例如，如果安裝了es→en和en→fr的翻譯模型，則可以將es翻譯成fr，即使沒有直接的es→fr翻譯模型。這使得Argos Translate能夠在一定程度上犧牲翻譯質量的情況下，支持多種語言之間的翻譯。目前支持的語言包括阿拉伯語、阿塞拜疆語、加泰羅尼亞語、中文、捷克語、丹麥語、荷蘭語、英語、世界語、芬蘭語、法語、德語、希臘語、希伯來語、印地語、匈牙利語、印度尼西亞語、愛爾蘭語、意大利語、日語、韓語、馬來語、波斯語、波蘭語、葡萄牙語、俄語、斯洛伐克語、西班牙語、瑞典語、土耳其語、烏克蘭語等等。
user1342/Tomato LLM 隱寫術與最小熵耦合- 在自然語言中隱藏加密消息。如何運作：LLM 生成的封面文本：LLM 像往常一樣，根據提示生成連貫的文本。使用MEC 嵌入：MEC 用於將隱藏消息（密文）的概率分佈與LLM，這種耦合最小化了聯合熵，確保隱寫文本（帶有嵌入消息的封面文本）保留了自然語言的統計屬性，使隱藏的消息實際上無法被檢測到。解碼過程：在解碼過程中，LLM 通過提供隱寫文本的上下文感知解釋來提供幫助，然後反向使用MEC 將隱藏的消息與隱藏文本分離，該過程利用嵌入過程中使用的相同概率分佈，確保在不影響隱藏文本完整性的情況下準確提取消息。此方法可確保隱藏的消息無縫集成到文本中，並且可以在以後安全、精確地檢索，同時將檢測風險降至最低。
RUCAIBox/TextBox 基於Python和PyTorch開發的，用於在一個統一的、全面的、高效的框架中復現和開發文本生成算法，主要面向研究者使用。我們的庫包括16種文本生成算法，涵蓋了兩個主要任務：無條件（無輸入）生成、序列到序列（Seq2Seq）生成，包括機器翻譯和摘要生成。模型無條件：LSTMVAE (Bowman et al., 2016)、CNNVAE (Yang et al., 2017)、HybridVAE (Semeniuta et al., 2017)、SeqGAN (Yu et al., 2017)、TextGAN (Zhang et al., 2017)、RankGAN (Lin et al., 2017)、MaliGAN (Che et al., 2017)、LeakGAN (Guo et al., 2018)、MaskGAN (Fedus et al., 2018)。序列到序列RNN (Sutskever et al., 2014)、Transformer (Vaswani et al., 2017b)、GPT-2 (Radford et al.)、XLNet (Yang et al., 2019)、BERT2BERT (Rothe et al., 2020)、BART（Lewis et al。，2020）
huggingface/alignment-handbook 使語言模型與人類和AI 偏好保持一致的強大配方：OpenAI用ChatGPT打破了互聯網，Meta緊隨其後發布了Llama系列語言模型，使ML社區能夠構建自己有能力的聊天機器人。這導致了一個豐富的數據集和模型生態系統，這些數據集和模型主要集中在通過監督微調（SFT）來教授語言模型遵循指令。該手冊的初始版本將側重於以下技術：Supervised fine-tuning監督微調，教語言模型遵循有關如何收集和策劃自己的訓練數據集的說明和提示。 Reward modeling獎勵建模：教授語言模型根據人類或AI偏好區分模型響應。 Rejection sampling剔除採樣：一種簡單但功能強大的技術，可提高SFT模型的性能。直接偏好優化（DPO）：PPO的強大而有前途的替代方案。
KellerJordan/modded-nanogpt 這是Andrej Karpathy 的llm 的變體。它：訓練效率提高3.8 倍（只需2.67 個令牌而不是10B 即可達到相同的驗證損失）。代碼更短（537 行而不是860 行）。實施架構現代化（旋轉嵌入、RMSNorm、ReLU^2、投影零初始化）。實現一個新的優化器（Muon - Momentum Orthogonalized by Newton-schulz）。要執行訓練，請在8xA100 或8xH100 節點上運行以下三個命令。他們在8xH100 上以<20 分鐘完成，互聯網連接良好。這將在Fineweb [1] 的2.67B 令牌上訓練一個124M 參數的transformer 進行5100 個步驟，實現~3.277 的驗證損失。相比之下，默認的llm PyTorch trainer 在訓練10B 令牌後會產生>3.28 驗證損失。
RUCAIBox/MVP 自然語言生成的多任務監督預訓練。遵循標準的轉換器編碼器-解碼器架構。使用標記數據集進行監督預訓練。還具有特定於任務的軟提示，以刺激模型執行特定任務的能力。專為自然語言生成而設計，可以適應各種生成任務。我們的模型也可以適應自然語言理解任務。收集了7種代表性生成任務的45個有標籤數據集，共計3200千萬條樣本（23GB），來作為預訓練語料。第一階段，使用這些語料訓練一個標準的Transformer，即MVP；第二階段，凍結住MVP，利用每個任務的數據訓練任務特定的連續型提示（即7組提示）。
dsfsi/textaugment TextAugment是一個用於自然語言處理文本增強的Python 3庫，它基於NLTK、Gensim v3.x和TextBlob，可以與它們很好地配合使用。該庫提供多種文本增強方法，包括基於Word2vec、WordNet和RTT的增強方法，以及EDA（Easy Data Augmentation）和AEDA（An Easier Data Augmentation）技術，以及Mixup增強方法。 TextAugment可以生成合成數據，以提高模型性能，無需人工干預，並支持文本數據，可以與任何機器學習框架（如PyTorch、TensorFlow、Scikit-learn）無縫集成。
XiangLi1999/PrefixTuning 前綴微調：優化文本生成的連續提示模板。提出一種更好的微調方法，通過加入前綴實現統一模型在不同任務上的微調，實現小樣本學習，極大地減少了參數量。目前對於前綴的構造，大致可以分為本文的連續前綴和離散前綴（自動生成或手動設計），對於在摘要任務上加入離散前綴，有點類似於從對話中提取特徵或結構，但這種方法的優勢就在於它不需要大量的樣本，而傳統的融入結構的方法仍然需要很多樣本。
awslabs/sockeye Sockeye是一個基於PyTorch的開源序列到序列框架，專注於神經機器翻譯。它支持分佈式訓練和優化推理，用於構建最先進的模型，為Amazon Translate和其他機器翻譯應用提供支持。 Sockeye已進入維護模式，不再添加新功能。用戶可以通過GitHub上的問題跟踪器報告問題。 Sockeye 3.0.0版本開始支持PyTorch和MXNet，並提供MXNet模型到PyTorch模型的轉換工具。用戶可以通過pip安裝Sockeye，並使用提供的文檔和教程快速上手。
Byaidu/PDFMathTranslate PDFMathTranslate是一個用於科學論文翻譯的工具，它可以完整保留排版的PDF 文檔全文雙語翻譯，並支持Google、DeepL、Ollama 和OpenAI等多種翻譯服務。該項目可以保留公式和圖表，並支持多語言翻譯，還提供雙語對比功能。用戶可以通過命令行執行翻譯命令，並指定翻譯服務、語言、頁面範圍等參數。該項目依賴於PyMuPDF、Pdfminer.six、MinerU、MathTranslate、DocLayout-YOLO 等開源項目。
microsoft/LMOps 關於構建具有基礎模型的AI 產品的基礎研究和技術的研究計劃，特別是關於通過LLMs生成式AI 模型實現AI 功能的通用技術。更好的提示：自動提示優化、提示器、可擴展提示、通用提示檢索、檢索器、LLM上下文演示選擇。更長的上下文：結構化提示、長度外推轉換器。 LLM對齊：通過LLM反饋對齊。 LLM加速器（更快的推理）：無損加速LLMs。 LLM自定義：適應LLM領域。
BART Bidirectional and Auto-Regressive Transformers 是以去噪為預訓練目標訓練的序列間模型， 一種符合生成任務的預訓練方法。我們證明了這種預訓練目標更為通用，並且證明了我們可以在SQuAD和GLUE上匹配RoBERTa的結果，並在摘要（XSum，CNN數據集）、長形式生成性問答（ELI5）和對話-反應生成（ConvAI2）上獲得最新的結果。在生成任務上顯著高於BERT, UniLM, XLNet, RoBERTa等模型
LibreTranslate/LibreTranslate LibreTranslate是一個免費開源的機器翻譯API，完全自託管，無需依賴Google 或Azure等專有提供商。它使用開源的Argos Translate 庫作為翻譯引擎，可以離線運行，易於設置。你可以通過簡單的API 調用進行翻譯，支持多種語言，並提供自動語言檢測、HTML 格式翻譯、備選翻譯等功能。只需幾行命令即可安裝和運行自己的API 服務器。
karpathy/char-rnn 多層循環神經網絡（LSTM、GRU、RNN）用於訓練和生成字符級語言模型，輸入一個文本文件訓練模型預測下一個字符，生成類似原始數據的文本。該項目基於Torch和Lua編寫，支持多層、LSTM和模型保存等功能，可在GPU上加速訓練。作者還提供了多個數據集，用戶可以使用自己的數據。更新版本torch-rnn提供了更簡潔高效的實現。
OpenNMT/OpenNMT-py OpenNMT-py 是一個基於PyTorch 的開源神經機器翻譯框架，支持多種NLP 任務，如翻譯、語言建模、摘要等。該項目已不再積極維護，推薦使用其衍生項目Eole。 OpenNMT-py 支持大型語言模型(LLM)，並提供8位和4 位量化功能，可用於微調7B 和13B 模型。該項目提供教程和文檔，方便用戶上手使用。
MuiseDestiny/zotero-gpt 與Zotero集成：您可以使用該插件根據所選文本或PDF文件搜索和詢問庫中的項目。使用GPT 生成回复文本：support gpt-3.5-turbo 和gpt-4。詢問有關當前PDF 文件（全文或所選文本）的問題。對所選論文（摘要）提出問題。 將所選論文總結成幾個高度濃縮的句子。根據所選文本搜索庫中的項目。
beyondguo/genius 強大的有條件文本生成模型，以草稿為輸入，在給定的草稿(文本範圍、短語或單詞的關鍵信息)中填充缺失的上下文，在大規模文本語料庫上進行預訓練，用一種極端和選擇性的掩蔽策略從草稿目標進行新的重建，使它能夠生成給定素描的多樣化和高質量的文本。
bojone/t5_in_bert4keras 在keras中使用T5模型,用mT5 small版本finetune出來的CSL 標題生成模型，BLEU 指標能持平基於WoBERT 的UniLM 模型，並且解碼速度快130%；而用mT5 base 版本finetune 出來的CSL 標題生成模型，指標能超過基於WoBERT 的UniLM 模型1% 以上，並且解碼速度也能快60%。
Azure/co-op-translator Azure/co-op-translator 是一個Python 包，利用Azure AI 服務的先進語言模型技術，通過單個命令輕鬆生成多語言翻譯，簡化項目多語言化過程，支持Markdown 文件和圖片中的文本翻譯，易於集成到現有項目中，簡化本地化流程。
google-research/language 該項目是Google AI 語言團隊開源項目的共享倉庫，包含了來自Google ResearchLanguage 團隊的各種開源項目，例如語言模型、文本生成、機器翻譯等，但並非Google 官方產品。
google-research/text-to-text-transfer-transformer T5的理念就是“萬事皆可Seq2Seq”，它使用了標準的Encoder-Decoder 模型，並且構建了無監督/有監督的文本生成預訓練任務，最終將效果推向了一個新高度。
fastnlp/CPT 中文預訓練非平衡轉換器(CPT) ，它是一種非平衡Transformer 編碼器-解碼器，聯合MLM 和DAE 進行預訓練。用於漢語理解和生成的預訓練.
RasaHQ/rasa 開源機器學習框架，用於自動化基於文本和語音的對話：NLU、對話管理、連接到Slack、Facebook 等- 創建聊天機器人和語音助手
songhaoyu/BoB BERTOverBERT用於從有限的個性化數據訓練基於角色的對話模型。分解為了兩個子任務，從有限的角色化對話數據中進行學習。
Ceelog/DictionaryByGPT4 一本GPT4 生成的單詞書，超過8000 個單詞分析，涵蓋了詞義、例句、詞根詞綴、變形、文化背景、記憶技巧和小故事
EleutherAI/gpt-neo 模型並行GPT2和類似GPT3的模型的實現，能夠使用mesh-tensorflow庫擴展到完整的GPT3尺寸（甚至可能更多！）。
aishwaryanr/awesome-generative-ai-guide 生成式AI 正在經歷快速增長，該存儲庫是生成式AI 研究、訪談材料、筆記本等更新的綜合中心！
howdyai/botkit 一個開源開發人員工具，用於為主要消息傳遞平台構建聊天機器人、應用程序和自定義集成。
AdityaNG/kan-gpt 使用Kolmogorov-Arnold 網絡（KAN） 進行語言建模的生成式預訓練轉換器（GPT） 的PyTorch 實現
ZhuiyiTechnology/t5-pegasus 中文生成式預訓練模型，以mT5為基礎架構和初始權重，通過類似PEGASUS的方式進行預訓練。
0hq/WebGPT 使用WebGPU 在瀏覽器上運行GPT 模型。在不到~1500 行的原版Javascript 中實現GPT 推理。
Morizeyao/GPT2-Chinese GPT2中文文生模型，包括散文、詩詞、對聯、通用中文、中文歌詞、文言文
Awesome-TOD-NLG-Survey 面向任務的對話系統(TOD) 中自然語言生成的調查：最新進展和新前沿
bentrevett/pytorch-seq2seq 使用PyTorch 和TorchText 實現一些序列到序列（seq2seq） 模型的教程。
dsdanielpark/Bard-API 通過cookie 值返回Google Bard (大語言模型) 響應的非官方python 包。
minimaxir/gpt-2-simple Py包可以輕鬆地在新文本上重新訓練OpenAI 的GPT-2 文本生成模型
openai/gpt-2 論文“語言模型是無監督的多任務學習者”中的代碼和模型。
OSU-NLP-Group/Mind2Web 論文“Mind2Web：邁向Web的通才代理”的數據集，代碼和模型。
karpathy/nanoGPT 用於訓練/微調中型GPT（GPT-2） 的最簡單、最快的存儲庫。
karpathy/minGPT OpenAI GPT（生成預訓練轉換器）訓練的最小PyTorch 重新實現
deeppavlov/DeepPavlov 用於深度學習端到端對話系統和聊天機器人的開源庫。
liucongg/GPT2-NewsTitle GPT2.帶有超級詳細註釋的中文GPT2新聞標題生成項目。
EssayKillerBrain/WriteGPT 基於開源GPT2.0的初代創作型人工智能| 可擴展、進化
gunthercox/ChatterBot 一個機器學習的對話對話引擎，用於創建聊天機器人
thu-coai/CDial-GPT 大規模中文短文本會話數據集和中文預訓練對話模型
google/sentencepiece 用於基於神經網絡的文本生成的無監督文本分詞器。
RUCAIBox/Context-Tuning 上下文調優：學習上下文提示用於自然語言生成
samueldobbie/markup 基於Web的文檔註釋工具，由GPT-3 提供支持
YunwenTechnology/QueryGeneration 智能擴充機器人的“標準問”庫之Query生成
imcaspar/gpt2-ml GPT2 多語言支持, 15億參數中文預訓練模型
CopyTranslator/CopyTranslator 基於復制和翻譯的外語閱讀和翻譯助手。
SUSYUSTC/MathTranslate 用Latex 翻譯科學論文，尤其是ARXIV 論文
rikdz/GraphWriter 基於圖Transformer從知識圖譜中生成文本
yangjianxin1/GPT2-chitchat 用於中文閒聊的GPT2文本對話模型
PENS-Personalized-News-Headline-Generation 新聞頭條生成數據集和通用框架
Aristotle609/Medium-Title-Generator 生成數據科學文章標題的模型
immersive-translate/immersive-translate 沉浸式雙語網頁翻譯擴展
google-research/multilingual-t5 T5 的多國語言版
Tele-AI/TeleChat2 星辰語義大模型TeleChat2是由中國電信人工智能研究院研發訓練的大語言模型，是首個完全國產算力訓練並開源的千億參數模型。星辰語義大模型TeleChat2是由中國電信人工智能研究院研發訓練的大語言模型，該系列模型完全基於國產算力訓練。本次開源TeleChat2-115B模型採用10萬億Tokens中英文高質量語料進行訓練，同步開源對話模型TeleChat2-115B的多格式、多平台權重文件。 TeleChat2在訓練數據、訓練方法等方面進行了改進，在通用問答和知識類、代碼類、數學類榜單上相比TeleChat1均有大幅提升。 TeleChat2完全基於國產算力和國產深度學習框架進行訓練，算力和算法框架更自主可控。優化MP、PP、SP實現方式提升模型性能，優化算子來提升訓練速度。我們使用大量小模型實驗來驗證scaling law規律，在不同模型結構、不同數據配比和數據清洗方式中尋找最優設計。採用RingAttention及其他序列切分方式，實現長文訓練性能提升；通過ntk-aware+attention-scaling的方式保證訓練長度切換時的平穩過渡，以此來保證模型在不同長度數據下的訓練效果。在微調數據方面，我們進行了指令複雜性提升與多樣性擴充，通過數據合成和人工標註生成高質量數據，並使用拒絕採樣生成多樣的推理路徑；通過研究一套基於base模型反向選擇偏好對齊數據方案，基於適配數據最大限度提升模型效果。通用能力較TeleChat系列模型提升超過29%，在邏輯推理、總結摘要、長文寫作和數學計算上均有大幅提升。採用標準的Decoder-only 結構設計了TeleChat2 模型，使用Rotary Embedding 的位置編碼方法、使用SwiGLU 激活函數來替代GELU激活函數、使用基於RMSNorm 的Pre-Normalization進行層標準化操作。我們將TeleChat2的詞嵌入層和輸出lm head層參數分開，有助於增強訓練穩定性和收斂性。我們選擇了GQA以節約attention部分的參數量和計算量、提升訓練和推理速度。 TeleChat模型相比同規模模型在評測效果方面也有較好的表現，我們的評測集涵蓋了包括MMLU、C-Eval、CMMLU、 GSM8K、MATH、HumanEval、BBH等數據集，評測能力包括了指令遵循、考試能力、數學計算和推理、代碼生成等。
bklieger-groq/g1 在Groq 上使用Llama-3.1 70b 創建類似o1 的推理鏈。這是使用提示策略通過類似o1 的推理鏈來提高LLM 的推理能力的早期原型。這允許LLM “思考”並解決通常會難倒領先模型的邏輯問題。與o1 不同，它顯示了所有推理標記，並且該應用程序使用開源模型。 G1 是實驗性的，並且是開源的，以幫助激勵開源社區開發新的策略來產生類似O1 的推理。該實驗有助於展示在可視化步驟中提示推理的力量，而不是與使用不同技術的o1 進行比較或完全複製。相反，OpenAI 的o1 通過大規模強化學習進行訓練，以使用Chain of Thought 進行推理，從而在復雜的博士級問題上實現最先進的性能。 g1 展示了單獨提示克服簡單的LLM 邏輯問題（如Strawberry 問題）的潛力，使現有的開源模型能夠從動態推理鍊和改進的界面中受益。由Llama3.1-70b 提供支持的g1 創建了推理鏈，原則上是一個動態的思維鏈，它允許LLM 能夠“思考”並解決一些通常會難倒領先模型的邏輯問題。在每個步驟中，LLM 可以選擇繼續另一個推理步驟，或提供最終答案。每個步驟都有標題，並且對用戶可見。系統提示符還包括LLM。 Prompt Breakdown 下有完整的解釋，但有幾個示例要求模型“包括對替代答案的探索”和“使用至少3 種方法來得出答案”。因此，通過將思維鏈與嘗試多種方法、探索替代答案、質疑以前的草案解決方案並考慮LLM。僅此一項，無需任何訓練，就足以在草莓問題上達到~70% 的準確率（n=10，“草莓中有多少R？）在沒有提示的情況下，Llama-3.1-70b 的準確率為0%，ChatGPT-4o 的準確率為30%。
deepseek-ai/DeepSeek-V2 DeepSeek-V2：強大、經濟且高效的專家混合語言模型，一種強大的專家混合（MoE） 語言模型，其特點是經濟的訓練和高效的推理。它包含236B 個總參數，其中21B 為每個詞元激活。與DeepSeek 67B相比，DeepSeek-V2性能更強，同時節省了42.5%的訓練成本，減少了93.3%的KV緩存，最大生成吞吐量提升了5.76倍。我們在由8.1 萬億個詞元組成的多樣化、高質量的語料庫上預訓練了DeepSeek-V2。在這種全面的預訓練之後，是監督微調（SFT） 和強化學習（RL） 的過程，以充分釋放模型的能力。評估結果驗證了我們方法的有效性，因為DeepSeek-V2在標準基準測試和開放式生成評估中都取得了卓越的性能。大海撈針（NIAH） 測試的評估結果。 DeepSeek-V2 在高達128K 的所有上下文窗口長度上都表現良好。我們在AlpacaEval 2.0 和MTBench 上評估了我們的模型，顯示了DeepSeek-V2-Chat-RL 在英語會話生成方面的競爭性能。我們在LiveCodeBench （0901-0401） 上評估我們的模型，這是一個為實時編碼挑戰而設計的基準測試。如圖所示，DeepSeek-V2 在LiveCodeBench 方面表現出相當的熟練程度，取得了超過其他幾個複雜模型的Pass@1分數。這一性能突出了該模型在處理實時編碼任務方面的有效性。 DeepSeek-V2 採用創新架構，保證訓練經濟高效：在註意力方面，我們設計了MLA（Multi-head Latent Attention），它利用低秩鍵值聯合壓縮來消除推理時鍵值緩存的瓶頸，從而支持高效的推理。對於前饋網絡（FFN），我們採用DeepSeekMoE 架構，這是一種高性能的MoE 架構，能夠以更低的成本訓練更強大的模型。
baichuan-inc/Baichuan-13B 由百川智能繼Baichuan-7B 之後開發的包含130 億參數的開源可商用的大規模語言模型，在權威的中文和英文benchmark 上均取得同尺寸最好的效果。本次發布包含有預訓練(Baichuan-13B-Base) 和對齊(Baichuan-13B-Chat) 兩個版本。 Baichuan-13B 有如下幾個特點：更大尺寸、更多數據：Baichuan-13B 在Baichuan-7B 的基礎上進一步擴大參數量到130 億，並且在高質量的語料上訓練了1.4 萬億tokens，超過LLaMA-13B 40%，是當前開源13B 尺寸下訓練數據量最多的模型。支持中英雙語，使用ALiBi 位置編碼，上下文窗口長度為4096。同時開源預訓練和對齊模型：預訓練模型是適用開發者的『 基座』，而廣大普通用戶對有對話功能的對齊模型具有更強的需求。因此本次開源我們同時發布了對齊模型（Baichuan-13B-Chat），具有很強的對話能力，開箱即用，幾行代碼即可簡單的部署。更高效的推理：為了支持更廣大用戶的使用，我們本次同時開源了int8 和int4 的量化版本，相對非量化版本在幾乎沒有效果損失的情況下大大降低了部署的機器資源門檻，可以部署在如Nvidia 3090 這樣的消費級顯卡上。開源免費可商用：B對學術研究完全開放，開發者也僅需郵件申請並獲得官方商用許可後，可免費商用。
MadcowD/ell ell 是一個輕量級的函數式提示工程框架，構建在幾個核心原則之上：1. 提示是程序，而不是字符串。提示不僅僅是字符串;它們都是導致字符串被發送到語言模型的代碼。在ell 中，我們認為一種將語言模型用作離散子例程的特殊方法，稱為語言模型程序。 2. 提示實際上是機器學習模型的參數。提示工程的過程涉及許多迭代，類似於機器學習中的優化過程。由於LMP 只是函數，因此ell 為此過程提供了豐富的工具。 ell 通過靜態和動態分析以及GPT-4o-mini自動生成的提交消息，將提示的自動版本控制和序列化直接發送到本地存儲。此過程類似於機器學習訓練循環中的檢查點，但它不需要任何特殊的IDE 或編輯器- 全部使用常規Python 代碼完成。 3. 用於監控、版本控制和可視化的工具。使用正確的工具，Prompt 工程從一門黑暗的藝術變成了一門科學。 Ell Studio 是一個本地開源工具，用於提示版本控制、監控、可視化。使用Ell Studio，您可以隨著時間的推移經驗化您的提示優化過程，並在為時已晚之前捕獲回歸。 4. 多模態應該是一流的。 LLMs 可以處理和生成各種類型的內容，包括文本、圖片、音頻和視頻。使用這些數據類型進行提示工程應該像使用文本一樣簡單。
THUDM/ChatGLM2-6B 開源中英雙語對話模型ChatGLM-6B 的第二代版本，在保留了初代模型對話流暢、部署門檻較低等眾多優秀特性的基礎之上，引入瞭如下新特性：更强大的性能：全面升級了基座模型。 ChatGLM2-6B 使用了GLM 的混合目標函數，經過了1.4T 中英標識符的預訓練與人類偏好對齊訓練，評測結果顯示，相比於初代模型，MMLU（+23%）、CEval（+33%）、GSM8K（+571%） 、BBH（+60%）等數據集上的性能取得了大幅度的提升，在同尺寸開源模型中具有較強的競爭力。更长的上下文：基於FlashAttention 技術，我們將基座模型的上下文長度（Context Length）由ChatGLM-6B 的2K 擴展到了32K，並在對話階段使用8K 的上下文長度訓練。對於更長的上下文，我們發布了ChatGLM2-6B-32K 模型。 LongBench 的測評結果表明，在等量級的開源模型中，32K 有著較為明顯的競爭優勢。更高效的推理：基於Multi-Query Attention 技術，有更高效的推理速度和更低的顯存佔用：在官方的模型實現下，推理速度相比初代提升了42%，INT4 量化下，6G 顯存支持的對話長度由1K 提升到了8K。更开放的协议：權重對學術研究完全開放，在填寫問捲進行登記後亦允許免費商業使用。
SqueezeAILab/LLM2LLM LLM2LLM 是一種新穎的迭代數據增強策略，旨在通過使用大型語言模型（LLM）自身的能力來提升其性能。該方法的核心思想是利用一個教師LLM 來增強小型的種子數據集，通過生成合成數據並將其重新加入到訓練數據中，從而逐步提高模型的性能。這種方法不僅減少了手動生成數據的需要，還顯著降低了所需的真實數據量，使得在低數據機制中也能有效提升LLM 的性能。包括以下幾個步驟：在初始種子數據集中微調學生模型。評估並提取學生模型在訓練集中預測錯誤的數據。利用教師模型對這些錯誤數據生成額外數據，並將其加入到原始訓練數據中進行迭代訓練。這種方法的優勢在於其迭代性和針對性，每次數據增強時僅對種子數據進行處理，從而確保數據的質量和相關性。通過這種方式，LLM2LLM 能夠生成高質量的合成數據，其效果可以媲美甚至超過手工收集的數據。此外，LLM2LLM 還減少了勞動密集型數據整理的需求，使得數據增強過程更加高效和自動化。研究結果表明，LLM2LLM 在低數據機制中的性能顯著優於傳統的微調和其他數據增強基線，為大型語言模型的進一步發展提供了新的思路和方法。
DA-southampton/RedGPT 提出一種自動生成事實型對話的方法，並公開我們的部分數據。我們公開的第一批數據（RedGPT-Dataset-V1-CN）共包含5萬條中文多輪對話。目標是自動生成海量、高質量、事實型多輪對話，用於訓練GPT，提升GPT的事實正確性。我們採用如下方法自動生成數據。 1. 採集優質的事實型文檔，我們稱之為reference，其來源可以是電子書、維基百科、優質垂類網站。文檔需要涵蓋盡量多的主題，包括但不限於人物、機構、科技、醫療、法律、人文、經濟、家居、汽車、出行、美食、時尚、體育、教育、寵物。 2. 利用已有的LLM（例如付費API）生成多輪對話。輸入是一篇reference，prompt類似“請根據這篇文章生成多輪問答”。 API會輸出一段多輪對話（dialogue）。這種方法將原本只適合預訓練的文檔轉化成可供微調的多輪對話。 3. 第2步收集到大量的reference-dialogue二元組。將reference和prompt作為輸入，dialogue作為目標，微調一個GPT模型（可以基於LLaMA或BLOOM的預訓練基座）。我們將微調出的模型稱作Reference-Enlightened-Dialogue GPT，縮寫RedGPT。有了RedGPT，即可基於reference生成多輪對話，獲得海量的數據。
lm-sys/llm-decontaminator 在沒有更強的去除訓練樣本污染的情況下，Llama-rephraser：13B 模型在主要基準測試（MMLU/GSK-8K/HumanEval） 中達到GPT-4 性能！為了確保結果的有效性，我們遵循了OpenAI 的去污方法，沒有發現數據污染的證據。本文提出了一種基於更強LLM的去污器，並將其應用於現實世界的訓練數據集（例如， the Stack、RedPajama），揭示了訓練數據集與廣泛使用的基準測試的顯著重疊。現有的檢測方法（例如，n-gram重疊，嵌入相似性）無法檢測到這種污染。嵌入相似性方法很難將改寫的問題與同一主題（高中美國歷史）中的其他問題區分開來。而本文提出可以使用“LLM去污器”來量化數據集相對於基準的重新表述的樣本。根據檢測結果，您可以估計數據集中改寫樣本的污染情況，並將其從訓練集中移除。該LLM淨化器包括兩個步驟：對於每個測試用例，“LLM去污器”使用嵌入相似性搜索識別相似度最高的前k 個訓練項。從這些項目中，“LLM去污器”生成k 個潛在的改寫對，每對都使用高級LLM，例如GPT-4 進行改寫評估。結果表明，我們提出LLM的方法在去除改寫樣本方面明顯優於現有方法。
modelscope/data-juicer 為大語言模型提供更高質量、更豐富、更易”消化“的數據！特徵：系統化和可重用：為用戶提供包含80+ 核心OP、20+ 可重用配置配方和20+ 功能豐富的專用工具包的系統庫，旨在獨立於特定的多模態LLM數據集和處理管道運行。 Data-in-the-loop & Sandbox：支持一站式數據模型協同開發，通過沙盒實驗室實現快速迭代，提供基於數據和模型的反饋循環、可視化、多維度自動評估等功能，讓您更好地理解和改進您的數據和模型。提高效率：提供高效並行的數據處理流水線（Aliyun-PAIRaySlurmCUDAOP Fusion），需要更少的內存和CPU使用率，並針對最大生產力進行優化。全面的數據處理配方：提供數十種預建的數據處理配方，用於預訓練、微調、en、zh 等場景。在參考LLaMA 和LLaVA 模型上進行了驗證。靈活和可擴展：適應大多數類型的數據格式（例如，jsonl、parquet、csv等），並允許靈活組合OP。隨意實現您自己的OP 以進行可自定義的數據處理。用戶友好體驗：為簡單而設計，具有全面的文檔、簡單的入門指南和演示配置，以及通過在現有配置中簡單添加/刪除OP 的直觀配置。
thudm/longwriter 由清華大學和智譜AI聯合開發的長文本生成模型，旨在從長上下文大語言模型（LLMs）中釋放超過10,000 個單詞的生成能力。當前的長上下文LLMs 雖然可以處理多達100,000 個標記的輸入，但在生成超過2,000 個單詞的輸出時仍然面臨困難，主要原因是模型的有效生成長度受到在監督微調（SFT）過程中所見樣本的限制。為了解決這一問題，研究團隊引入了AgentWrite，這是一種基於代理的方法，通過將超長的生成任務分解為子任務，使得現有的LLMs 能夠生成超過20,000 個單詞的連貫輸出。利用AgentWrite，他們構建了LongWriter-6k，這是一個包含6,000 個SFT 數據的數據集，輸出長度從2k 到32k 單詞不等。通過將此數據集納入模型訓練，現有模型的輸出長度擴展到10,000 字以上，同時保持了輸出質量。此外，LongWriter 還開發了LongBench-Write，這是一個用於評估超長生成能力的綜合基準。用戶可以通過運行CUDA_VISIBLE_DEVICES=0 python trans_web_demo.py 來部署自己的LongWriter 聊天機器人，或者使用vllm 部署模型，從而在一分鐘內生成超過10,000 個單詞。
jingyaogong/minimind 【大模型】3小時完全從0訓練一個僅有26M的小參數GPT，最低僅需2G顯卡即可推理訓練！ MiniMind極其輕量，體積約是GPT3 的1/7000，力求做到最普通的個人GPU也可快速推理甚至訓練。 MiniMind改進自DeepSeek-V2、Llama3結構，項目包含整個數據處理、pretrain、sft、dpo的全部階段，包含混合專家(MoE)模型。這是一個既是開源項目，又是入門LLM教程，同時也是一個初具雛形的開源模型，希望能起到拋磚引玉的作用。因此，本項目的目標是把上手LLM的門檻無限降低， 直接從0開始訓練一個極其輕量的語言模型。項目包含：公開MiniMind模型代碼（包含Dense和MoE模型）、Pretrain、SFT指令微調、LoRA微調、DPO偏好優化的全過程代碼、數據集和來源。兼容transformers、accelerate、trl、peft等流行框架。訓練支持單機單卡、單機多卡(DDP、DeepSpeed)訓練，使用wandb可視化訓練流程。支持在任意位置停止，及在任意位置繼續訓練。在Ceval數據集上進行模型測試的代碼。實現Openai-Api基本的chat接口，便於集成到第三方ChatUI使用（FastGPT、Open-WebUI等）。
xlang-ai/UnifiedSKG 使用文本到文本語言模型進行統一和多任務結構化知識基礎，結構化知識基礎（SKG） 利用結構化知識來完成用戶請求，例如對數據庫進行語義解析和對知識庫進行問答。由於SKG任務的輸入和輸出是異質的，因此它們在歷史上被不同的社區分開研究，這限制了對SKG的系統性和兼容性研究。在本文中，我們通過提出UnifiedSKG 框架來克服這一局限性，該框架將21 個SKG 任務統一為文本到文本的格式，旨在促進系統的SKG 研究，而不是專屬於單個任務、領域或數據集。我們表明，像T5 這樣的大型語言模型，在必要時進行簡單的修改，幾乎可以在所有21 個任務上實現最先進的性能。 UnifiedSKG促進多任務學習。我們表明，多任務前綴調整對大多數任務都有好處，大大提高了整體性能。 UnifiedSKG 是一個具有挑戰性的零樣本和少樣本學習測試平台，T0、GPT-3 和Codex 都在其中苦苦掙扎。 UnifiedSKG 還支持對SKG 任務中的結構化知識編碼變體進行一系列對照實驗。我們發現T5 對結構化知識編碼變化的敏感性因任務而異。
yangling0818/buffer-of-thought-llm 思想緩衝：使用大型語言模型進行思想增強推理。 BoT，這是一種新穎且多功能的思維增強推理方法，旨在提高大型語言模型（LLMs。具體來說，我們提出了一個元緩衝區來存儲一系列高級思想，稱為思想模板，這些思想是從各種任務中解決問題的過程中提煉出來的。對於每個問題，我們檢索一個相關的思想模板，並使用特定的推理結構自適應地實例化它，以進行有效的推理。為了確保可擴展性和穩定性，我們還提出了一個buffer-manager 來動態更新meta-buffer，從而隨著更多任務的解決而增強其容量。我們對10 項具有挑戰性的推理密集型任務進行了廣泛的實驗，與以前的最先進的（SOTA） 方法相比，性能有了顯著提高：Game of 24 的性能提高了11%，幾何形狀的性能提高了20%，Checkmate-in-One 的性能提高了51%。進一步的分析表明，我們的BoT 具有卓越的泛化能力和穩健性，而平均只需要多查詢提示方法（例如，樹/思想圖）成本的12%。值得注意的是，我們發現我們的Llama3-8B + BoT 有可能超越Llama3-70B 模型。
thu-bpm/markllm MarkLLM 是一個開源工具包，旨在促進大型語言模型（LLMs） 中水印技術的研究和應用。隨著大型語言模型（LLMs） 的使用範圍擴大，確保機器生成文本的真實性和來源變得至關重要。 MarkLLM 簡化了對水印技術的訪問、理解和評估，使其可供研究人員和更廣泛的社區使用。實現框架：MarkLLM 為各種LLM水印算法的實現提供了一個統一且可擴展的平台。它目前支持來自兩個著名家族的九種特定算法，促進了水印技術的集成和擴展。目前支持的算法：KGW,Unigram,SWEET,UPV,EWD,SIR,X-SIR,EXP,EXP-Edit,ITS-Edit。可視化解決方案：該工具包包括自定義可視化工具，可以清晰而深入地了解不同水印算法在各種場景下的運行方式。這些可視化有助於揭開算法機制的神秘面紗，使用戶更容易理解它們。評估模塊：MarkLLM 擁有12 種評估工具，涵蓋可檢測性、魯棒性和對文本質量的影響，在其評估水印技術的綜合方法中脫穎而出。它還具有可定制的自動化評估管道，可滿足不同的需求和場景，從而增強了工具包的實際實用性。
exo-explore/exo 在家中使用日常設備運行自己的AI 集群。忘記昂貴的NVIDIA GPU，將現有設備統一到一個強大的GPU 中：iPhone、iPad、Android、Mac、Linux，幾乎任何設備！特徵：廣泛的模型支持，exo支持LLaMA（MLX和tinygrad）等熱門型號。動態模型分區，EXO 根據當前網絡拓撲和可用設備資源對模型進行最佳拆分。這使您能夠運行比在任何單個設備上更大的模型。自動設備發現，EXO 將使用可用的最佳方法自動發現其他設備。零手動配置。 ChatGPT 兼容API，exo 提供了一個與ChatGPT 兼容的API，用於運行模型，只需在您的應用程序中進行一行更改，即可使用exo 在您自己的硬件上運行模型。設備平等，與其他分佈式推理框架不同，exo 不使用master-worker 架構，exo 設備連接p2p，只要設備連接到網絡中的某個位置，它就可以用於運行模型,Exo支持不同的分區策略，可以在設備之間分割模型，默認的分區策略是環形內存加權分區，這將在一個環中運行推理，其中每個設備運行與設備內存成正比的多個模型層。
ziliwangnlp/RefGPT 包含5萬對中文多輪對話數據。用如下方法自動生成數據。採集優質的事實型文檔，reference，來源是電子書、維基百科、優質垂類網站。文檔需要涵蓋盡量多的主題。利用已有LLM生成多輪對話。輸入是一篇reference，prompt類似“請根據這篇文章生成多輪問答”。 API輸出一段多輪對話（dialogue）。這種方法將原本只適合預訓練的文檔轉化成可供微調的多輪對話。收集到大量的reference-dialogue二元組。將reference和prompt作為輸入，dialogue作為目標，微調一個GPT模型。稱作Reference-to-Dialogue GPT，縮寫RefGPT。有了RefGPT，即可基於reference生成多輪對話，獲得海量的數據。需要關注2個要點。 Reference的質量、廣度。 Reference內容質量必須高，比如醫療等優質垂類網站的頁面、維基百科上非生僻的詞條，且需要對網頁做清洗。 Reference的廣度應當大，不能限制在單個垂類或網站。調用已有LLM時需要寫prompt，需要仔細嘗試各種prompt，使得LLM生成的多輪對話符合預期。
bilibili/Index-1.9B Index-1.9B系列是Index系列模型（由嗶哩嗶哩自主研發的大語言模型）中的輕量版本，包含以下模型：Index-1.9B base : 基座模型，具有19億非詞嵌入參數量，在2.8T 中英文為主的語料上預訓練，多個評測基准上與同級別模型比處於領先。 Index-1.9B pure : 基座模型的對照組，與base具有相同的參數和訓練策略，不同之處在於我們嚴格過濾了該版本語料中所有指令相關的數據，以此來驗證指令對benchmark的影響。 Index-1.9B chat : 基於index-1.9B base通過SFT和DPO對齊後的對話模型，我們發現由於我們預訓練中引入了較多互聯網社區語料，聊天的趣味性明顯更強，並且擁有同級別模型中較強的多語種（尤其是東亞語種）互譯能力。 Index-1.9B character : 在SFT和DPO的基礎上引入了RAG來實現fewshots角色扮演定制。 Index-1.9B-32K ： Index-1.9B-32K 是一個僅有1.9B 參數、卻具備32K 上下文長度的語言模型（這意味著，這個超小精靈可以一次性讀完3.5 萬字以上的文檔）。
langchain-ai/langchainjs 通過LLMs可組合性構建應用程序，LangChain是用TypeScript編寫的，可用於：Node.js（ESM 和CommonJS） - 18.x、19.x、20.x、22.x；Cloudflare Workers；Vercel / Next.js（瀏覽器、Serverless 和Edge 功能）；Supabase Edge 函數；瀏覽器；Deno。 LangChain是一個用於開發由語言模型驅動的應用程序的框架。它使應用程序能夠：具有上下文感知能力：將語言模型連接到上下文源（提示指令、少量鏡頭示例、內容以使其響應為基礎等）；原因：依靠語言模型進行推理（關於如何根據提供的上下文回答、採取什麼行動等）。該框架由幾個部分組成：開源庫：使用LangChain 的開源構建塊、組件和第三方集成來構建您的應用程序，使用LangGraph.js 構建具有一流和人機交互支持的狀態代理。生產化：使用LangSmith來檢查、監控和評估您的鏈，以便您可以放心地持續優化和部署。部署：使用LangGraph Cloud（目前僅限Python）將您的LangGraph 應用程序轉換為生產就緒的API 和助手。
InternLM/InternLM-techreport 書生·浦語由上海人工智能實驗室和商湯科技（同等貢獻）與香港中大、復旦和上海交大聯合開發的多語言大語言模型。具有104B參數的多語言基礎語言模型。在具有1.6T 詞元的大型語料庫上進行預訓練，並具有多階段漸進過程，然後進行微調以符合人類偏好。我們還開發了一個名為Uniscale-LLM的訓練系統，用於高效的大型語言模型訓練。對多項基準的評估表明，InternLM在知識理解、閱讀理解、數學和編碼等多個方面都取得了最先進的表現。憑藉如此全面的能力，InternLM在綜合考試中取得了出色的表現，包括MMLU，AGIEval，C-Eval和高考-Bench，而無需借助外部工具。在這些基準測試中，InternLM 不僅明顯優於開源模型，而且與ChatGPT 相比，還獲得了卓越的性能。此外，InternLM在理解中文和中國文化方面表現出出色的能力，這使其成為支持面向中文的語言應用的合適基礎模型，並提供了跨各種知識領域和任務的基準和示例。
higgsfield-ai/higgsfield 容錯、高度可擴展的GPU 編排，以及專為訓練具有數十億到數万億個參數的模型而設計的機器學習框架。 Higgsfield 是一個開源、容錯、高度可擴展的GPU 編排，以及一個機器學習框架，專為訓練具有數十億到數万億個參數的模型而設計，例如大型語言模型（LLMs）。 Higgsfield 作為GPU 工作負載管理器和機器學習框架，具有五個主要功能：將對計算資源（節點）的獨占和非獨占訪問權限分配給用戶進行訓練任務。支持ZeRO-3 deepspeed API 和PyTorch 的全分片數據並行API，實現萬億參數模型的高效分片。提供一個框架，用於在分配的節點上啟動、執行和監控大型神經網絡的訓練。通過維護用於運行試驗的隊列來管理資源爭用。通過與GitHub 和GitHub Actions 的無縫集成，促進機器學習開發的持續集成，Higgsfield 簡化了訓練大型模型的過程，並為開發人員提供了多功能且強大的工具集。
THUDM/GLM-4 GLM-4-9B 是智譜AI 推出的最新一代預訓練模型GLM-4 系列中的開源版本。 在語義、數學、推理、代碼和知識等多方面的數據集測評中， GLM-4-9B 及其人類偏好對齊的版本GLM-4-9B-Chat 均表現出超越Llama-3-8B 的卓越性能。除了能進行多輪對話，GLM-4-9B-Chat 還具備網頁瀏覽、代碼執行、自定義工具調用（Function Call）和長文本推理（支持最大128K 上下文）等高級功能。本代模型增加了多語言支持，支持包括日語，韓語，德語在內的26 種語言。我們還推出了支持1M 上下文長度（約200 萬中文字符）的GLM-4-9B-Chat-1M 模型和基於GLM-4-9B 的多模態模型GLM-4V-9B。 GLM-4V-9B 具備1120 * 1120 高分辨率下的中英雙語多輪對話能力，在中英文綜合能力、感知推理、文字識別、圖表理解等多方面多模態評測中，GLM-4V-9B 表現出超越GPT-4-turbo-2024-04-09、Gemini 1.0 Pro、Qwen-VL-Max 和Claude 3 Opus 的卓越性能。
QwenLM/Qwen 阿里雲提出的Qwen （通義千問） 聊天和預訓練大型語言模型的官方存儲庫。開源了Qwen（通義千問）系列工作，當前開源模型的參數規模為18億（1.8B）、70億（7B）、140億（14B）和720億（72B）。當前基礎模型已經穩定訓練了大規模高質量且多樣化的數據，覆蓋多語言（當前以中文和英文為主），總量高達3萬億token。在相關基準評測中，Qwen系列模型拿出非常有競爭力的表現，顯著超出同規模模型並緊追一系列最強的閉源模型。此外，我們利用SFT和RLHF技術實現對齊，從基座模型訓練得到對話模型。 Qwen-Chat具備聊天、文字創作、摘要、信息抽取、翻譯等能力，同時還具備一定的代碼生成和簡單數學推理的能力。在此基礎上，我們針對LLM對接外部系統等方面針對性地做了優化，當前具備較強的工具調用能力，以及最近備受關注的Code Interpreter的能力和扮演Agent的能力。
kvcache-ai/Mooncake Mooncake 是Moonshot AI 提供的領先LLM服務Kimi 的服務平台。以KVCache 為中心的服務LLM分解架構，Mooncake 採用以KVCache 為中心的分解架構，將預填充和解碼集群分開。它還利用GPU 集群中未充分利用的CPU、DRAM 和SSD 資源來實現KVCache 的分解緩存。 Mooncake 的核心是其以KVCache 為中心的調度器，它在最大化整體有效吞吐量的同時滿足與延遲相關的服務級別目標（SLO） 要求之間取得平衡。與假設所有請求都將得到處理的傳統研究不同，Mooncake 面臨著高度過載場景帶來的挑戰。為了緩解這些問題，我們制定了基於預測的早期拒絕政策。實驗表明，Mooncake 在長上下文場景中表現出色。與基線方法相比，Mooncake 在遵守SLO 的同時，在某些模擬場景中可以實現高達525% 的吞吐量提升。在實際工作負載下，Mooncake 的創新架構使Kimi 能夠處理75% 以上的請求。
THUDM/ChatGLM3 ChatGLM3 系列中的開源模型，在保留了前兩代模型對話流暢、部署門檻低等眾多優秀特性的基礎上，ChatGLM3-6B 引入瞭如下特性：更強大的基礎模型： ChatGLM3-6B 的基礎模型ChatGLM3-6B-Base 採用了更多樣的訓練數據、更充分的訓練步數和更合理的訓練策略。在語義、數學、推理、代碼、知識等不同角度的數據集上測評顯示，ChatGLM3-6B-Base 具有在10B 以下的基礎模型中最強的性能。更完整的功能支持： ChatGLM3-6B 採用了全新設計的Prompt 格式，除正常的多輪對話外。同時原生支持工具調用（Function Call）、代碼執行（Code Interpreter）和Agent 任務等複雜場景。更全面的開源序列： 除了對話模型ChatGLM3-6B 外，還開源了基礎模型ChatGLM3-6B-Base、長文本對話模型ChatGLM3-6B-32K。以上所有權重對學術研究完全開放，在填寫問捲進行登記後亦允許免費商業使用。
InternLM/InternLM InternLM開源了70億和200億參數基礎模型，以及針對實際場景和訓練系統量身定制的聊天模型。開源的輕量級訓練框架，旨在支持模型預訓練，而無需廣泛的依賴關係。通過單個代碼庫，它支持在具有數千個GPU 的大規模集群上進行預訓練，並在單個GPU 上進行微調，同時實現卓越的性能優化。 InternLM 在1024 個GPU 上訓練期間實現了近90% 的加速效率。 InternLM-20B選擇了更深的架構，深度設置為60層。這超過了使用32或40層的傳統7B和13B型號。當參數有限時，增加層數可以增強模型的整體功能。此外，與InternLM-7B相比，InternLM-20B使用的預訓練數據經過了更高質量的清理，並補充了豐富的知識數據，旨在增強理解和推理能力。因此，它在理解、推理、數學和編程能力方面表現出顯著的改進——所有這些都測試了語言模型的技術熟練程度。
OpenLMLab/MOSS 支持中英雙語和多種插件的開源對話語言模型，moss-moon系列模型具有160億參數。開源數據: moss-002-sft-data: 多輪對話數據，覆蓋有用性、忠實性、無害性三個層面，包含由text-davinci-003生成的約57萬條英文對話和59萬條中文對話。 moss-003-sft-data: 多輪對話數據，基於MOSS-002內測階段採集的約10萬用戶輸入數據和gpt-3.5-turbo構造而成，更加符合真實用戶意圖分佈，包含更細粒度的有用性類別標記、更廣泛的無害性數據和更長對話輪數，約含110萬條對話數據。 moss-003-sft-plugin-data: 插件增強的多輪對話數據，包含支持搜索引擎、文生圖、計算器、解方程等四個插件在內的約30萬條多輪對話數據。 moss-003-pm-data: 偏好數據，包含在約18萬額外對話上下文數據及使用moss-moon-003-sft所產生的回複數據上構造得到的偏好對比數據。
volcengine/veScale PyTorch 原生LLM 訓練框架。易於使用的工業級框架。特色：PyTorch 原生：veScale 植根於PyTorch 原生數據結構、運算符和API，享受主導ML 世界的PyTorch 生態系統。零模型代碼更改：veScale 將分佈式系統設計與模型架構解耦，需要對用戶的模型代碼進行近乎零或零的修改。單設備抽象：veScale 為用戶提供單設備語義，在設備集群中自動分發和編排模型執行。自動並行規劃：veScale 在半自動化或全自動下通過策略（張量、序列、數據、ZeRO、管道並行）的協同作用將模型執行並行化。 Eager & Compile模式：veScale不僅支持Eager模式自動化以進行並行訓練和推理，還支持Compile模式以實現最終性能。自動檢查點重新分片：veScale 通過跨不同集群大小和不同並行策略的在線重新分片自動管理分佈式檢查點。
OpenMOSS/CoLLiE 幫助您從零開始訓練大模型的完整工具箱。它提供了數據預處理、模型微調、模型保存以及訓練過程各項指標監測等功能。 CoLLiE集成了現有的並行策略、高效參數微調方法和高效優化器，以加快訓練的速度，提高訓練的質量，降低訓練的開銷。 CoLLiE支持主流的多種模型（如MOSS, InternLM, LLaMA, ChatGLM等），您可以輕鬆在不同的模型之間切換。此外，CoLLiE提供了豐富的文檔，使初學者可以快速入門。同時，CoLLiE還提供了高度可定制化的功能和靈活的配置選項，使有經驗的用戶能夠根據自己的需求進行個性化定制。無論您是初學者還是有經驗的專業人士，CoLLiE都可以為您提供滿足需求的解決方案。 CoLLiE 基於DeepSpeed 和PyTorch，為大型語言模型提供協作式和高效的調優方法。
fanqiwan/FuseAI 大型語言模型的知識融合，專注於模型融合主題的開源研究社區。在Foundation 和Chat 上應用模型融合LLMs，未來計劃融合Agent/MoELLMs。 FuseChat-7B-VaRM，它融合了三個LLMs具有不同架構和規模的著名聊天，即NH2-Mixtral-8x7B、NH2-Solar-10.7B 和OpenChat-3.5-7B。 FuseChat-7B-VaRM 在MT-Bench 上的平均性能為8.22，優於Starling-7B、Yi-34B-Chat 和Tulu-2-DPO-70B 等各種強大的聊天，LLMs甚至超過了GPT-3.5（March）、Claude-2.1，並接近Mixtral-8x7B-Instruct。 FuseChat採用融合後合併的策略，有兩個主要階段。首先，對源LLMs進行成對知識融合，通過輕量級微調推導出多個結構和大小相同的目標LLMs;然後，將這些目標LLMs合併到參數空間中，提出了一種基於參數矩陣微調前後變化比確定合併權重的新方法VaRM。
01-ai/Yi 01.AI 從頭開始訓練的下一代開源大型語言模型。作為雙語語言模型，並在3T 多語言語料庫上進行訓練，Yi 系列模型成為全球最強大的LLM模型之一，在語言理解、常識推理、閱讀理解等方面顯示出前景。 Yi-34B-Chat 模型在AlpacaEval 排行榜上排名第二（僅次於GPT-4 Turbo），表現優於其他LLMs模型（如GPT-4、Mixtral、Claude）（基於截至2024 年1 月的數據）。 Yi-34B模型在各種基準測試中，包括Hugging Face Open LLM Leaderboard（預訓練）和C-Eval（基於截至2023年11月的數據）中，在所有現有的開源模型（如Falcon-180B、Llama-70B、Claude）中排名第一。感謝Transformer 和Llama 開源社區，因為它們減少了從頭開始構建所需的工作量，並能夠在AI 生態系統中使用相同的工具。
modelscope/swift SWIFT 支持300+ LLMs 和50+ MLLM（多模態大型模型）的訓練（PreTraining/Fine-tuning/RLHF）、推理、評估和部署。開發者可以直接將我們的框架應用到自己的研究和生產環境中，實現從模型訓練和評估到應用的完整工作流程。除了支持PEFT提供的輕量級訓練方案外，我們還提供完整的Adapters庫，以支持NEFTune、LoRA+、LLaMA-PRO等最新的訓練技術。此適配器庫可以直接在您自己的自定義工作流程中使用，而無需我們的訓練腳本。為了方便不熟悉深度學習的用戶使用，我們提供了一個用於控制訓練和推理的Gradio 網頁用戶界面，並為初學者提供了附帶的深度學習課程和最佳實踐。 SWIFT web-ui 在Huggingface space 和ModelScope studio 上都可用，請隨時嘗試！
TigerResearch/TigerBot 多語言多任務LLM，在BLOOM 基礎上的模型：TigerBot-7B, TigerBot-7B-base，TigerBot-180B。數據：預訓練100G，從2TB 過濾後的數據中經過去噪去重清洗而得；監督微調1G 或100 萬條數據，按比例涵蓋用戶指令常見的10 大類120 小類任務。中文開源預訓練集- 55G，包含中文書籍、中文互聯網、中文百科、 英文開源預訓練集- 51G，包含英文書籍、英文互聯網、英文百科、中文-微調指令集-合集- 53W 條、英文-微調指令集-合集- 67W 條- 下載
mlfoundations/dclm DataComp-LM （DCLM） 是一個綜合框架，旨在構建和訓練具有不同數據集的大型語言模型（LLMs）。它提供了來自CommonCrawl 的300 多個未經過濾的令牌的標準化語料庫、基於open_lm 框架的有效預訓練配方，以及一套包含50 多個評估的廣泛套件。此存儲庫提供了用於處理原始數據、標記化、洗牌、訓練模型以及評估其性能的工具和指南。 DCLM 使研究人員能夠在不同的計算規模（從411M 到7B 參數模型）上試驗各種數據集構建策略。我們的基線實驗表明，通過優化數據集設計，模型性能有了顯著提高。 DCLM 已經能夠創建多個高質量的數據集，這些數據集在各個尺度上都表現良好，並且優於所有開放數據集。
whylabs/langkit LangKit：用於監控大型語言模型（LLMs）。從提示和響應中提取信號，確保安全與保障。功能包括文本質量、相關性指標和情感分析。一個用於LLM 可觀測性的綜合工具。開箱即用的指標包括：文本質量（可讀性分數、複雜性和等級分數）；文本相關性（提示/響應之間的相似性分數、針對用戶定義的主題的相似性分數）；安全和隱私（patterns - 與用戶定義的正則表達式模式組匹配的字符串計數、越獄- 已知越獄嘗試的相似性分數、提示注入- 已知提示注入攻擊的相似性分數、幻覺- 反應之間的一致性檢查、拒絕- 與已知LLM 拒絕服務響應的相似度得分）；情緒和毒性（情感分析、毒性分析）
tmlr-group/DeepInception 催眠大型語言模型成為越獄者。披露了一種輕量級的方法，稱為DeepInception，它可以很容易地催眠LLM成為越獄者並解鎖其濫用風險。具體來說，《深度盜夢空間》利用擬LLM人化能力構建新穎的嵌套場景來表現，實現了正常場景下逃避使用控制的自適應方式，為進一步的直接越獄提供了可能性。根據經驗，我們進行了全面的實驗以證明其功效。我們的DeepInception 可以達到與前代同行競爭的越獄成功率，並在後續交互中實現連續越獄，這揭示了Falcon、Vicuna、Llama-2 和GPT-3.5/4/4V 等開源/閉源LLMs自輸的關鍵弱點。我們的調查呼籲人們應該更加關注安全方面，LLMs並加強對濫用風險的防禦。
Josh-XT/AGiXT AGiXT 是一個動態的人工智能自動化平台，旨在協調眾多提供商的高效AI 指令管理和任務執行。我們的解決方案將自適應內存處理與廣泛的命令相結合，以增強AI 的理解和響應能力，從而提高任務完成度。該平台的智能功能，如智能指示和智能聊天，無縫集成了網絡搜索、規劃策略和對話連續性，改變了用戶與人工智能之間的交互。通過利用包括網頁瀏覽和命令執行在內的強大插件系統，AGiXT 成為AI 模型和用戶之間的多功能橋樑。隨著AI 提供商名單的不斷擴大、代碼評估能力、全面的鏈管理和平台互操作性，AGiXT 不斷發展以驅動眾多應用程序，確立了其在AI 技術前沿的地位。
ianarawjo/ChainForge 用於戰鬥測試的開源可視化編程環境提示LLMs。用於分析和評估LLM響應的數據流提示工程環境。它面向提示、聊天響應和響應質量的早期、快速和骯髒的探索，超越了與個人LLMs的臨時聊天。使用ChainForge，您可以：一次查詢多個LLMs，以快速有效地測試提示的想法和變化。比較不同提示排列、不同模型和不同模型設置的響應質量，以選擇適合您用例的最佳提示和模型。設置評估指標（評分功能），並立即可視化提示、提示參數、模型和模型設置的結果。跨模板參數和聊天模型同時進行多個對話。模板不僅提示，而且跟進聊天消息，並在聊天對話的每個回合檢查和評估輸出。
OpenBMB/UltraFeedback 大規模、細粒度、多樣化的偏好數據集（和模型）。 UltraFeedback 是一個大規模、細粒度、多樣化的偏好數據集，用於訓練強大的獎勵模型和批評者模型。從各種資源（包括UltraChat、ShareGPT、Evol-Instruct、TruthfulQA、FalseQA 和FLAN，數據集統計信息見此處）收集了大約64k 個提示。然後，使用這些提示來查詢多個LLM，並為每個提示生成4 個不同的響應，從而產生總共256k 個樣本。為了收集高質量的偏好和文本反饋，設計了一個細粒度的註釋指令，其中包含4 個不同的方面，即指令遵循、真實性、誠實性和幫助性。然後，我們要求GPT-4 根據指令對收集到的樣本進行註釋。
pytorch/torchtitan torchtitan 是使用原生PyTorch 進行大規模LLM。它現在（並將繼續是）一個存儲庫，用於在乾淨、最小的代碼庫中展示PyTorch 最新的分佈式訓練功能。 TorchTitan 是對任何偉大的大規模LLM、Megablocks、LLM Foundry、Deepspeed 等。相反，我們希望torchtitan 中展示的功能能夠迅速被這些代碼庫採用。 Torchtitan 不太可能圍繞它發展一個大型社區。我們在構建torchtitan 時的指導原則：旨在易於理解、使用和擴展，以用於不同的培訓目的。應用1D、2D 或（即將推出的） 3D Parallel 時，對模型代碼的更改最小。模塊化組件，而不是整體式代碼庫。幾分鐘即可開始，而不是幾小時！
towhee-io/towhee Towhee 是一個致力於使神經數據處理管道簡單快速的框架。旨在通過使用基於大型語言模型（LLM） 的管道編排來簡化非結構化數據的處理。它具有獨特的優勢，可以從各種非結構化數據類型（包括冗長的文本、圖像、音頻和視頻文件）中提取寶貴的見解。利用生成式AI 和SOTA 深度學習模型的功能，Towhee 能夠將這些未處理的數據轉換為特定格式，例如文本、圖像或嵌入。然後，可以有效地將這些內容加載到適當的存儲系統中，例如矢量數據庫。開發人員最初可以使用用戶友好的Pythonic API 構建直觀的數據處理管道原型，然後針對生產環境進行優化。
xiaogang00/white-paper-for-large-model-security-and-privacy 大型模型安全和隱私白皮書，大型生成模型也存在數據/模型安全和隱私問題。我們應該注意到，大型生成模型會帶來很多安全和隱私問題，因為它們在改變我們生活方面表現出巨大的力量，例如數據洩露和假新聞的傳播。在本白皮書中，我們首先總結了大型生成模型的發展，包括其影響和社會影響。然後，我們總結了現有大型生成模型中當前存在的安全和隱私問題，例如數據和模型安全、版權問題和倫理問題。最後，我們針對當前的安全和隱私問題給出了相應的建議。它們可以用來指出未來的研究和發展方向，也可以作為政府決策的參考。
facebookresearch/llm-transparency-tool LLM 透明度工具（LLM），一個開源的交互式工具包，用於分析基於Transformer 的語言模型的內部工作原理。主要功能：選擇您的模型，選擇或添加您的提示，運行推理。瀏覽貢獻圖：選擇要從中構建圖形的令牌，調整貢獻閾值。選擇任何塊之後的任何令牌的表示。對於表示形式，請參閱其對輸出詞彙表的投影，查看哪些標記被提升/禁止，但前一個塊被提升/禁止。以下內容是可點擊的：邊緣，這顯示了有關貢獻注意力頭部的更多信息。選擇邊時的頭部，你可以看到這個頭在促進/壓制什麼。 FFN 塊（圖表上的小方塊）。選擇FFN 塊時的神經元。
HandsOnLLM/Hands-On-Large-Language-Models O'Reilly Book 的官方代碼存儲庫- “Hands-On Large Language Models” 通過本書的視覺教育性質和250 多個定製圖表，學習您今天使用大型語言模型所需的實用工具和概念！第1 章：語言模型簡介。第2 章：標記和嵌入。第3 章：深入了解Transformer LLMs。第4 章：文本分類。第5 章：文本聚類和主題建模。第6 章：提示工程。第7 章：高級文本生成技術和工具。第8 章：語義搜索和檢索- 增強生成。第9 章：多模態大型語言模型。第10 章：創建文本嵌入模型。第11 章：微調分類的表示模型。第12 章：微調生成模型。
katanaml/sparrow 用於從各種文檔和圖像中高效提取和處理數據。它可以無縫處理表單、發票、收據和其他非結構化數據源。 Sparrow 以其模塊化架構脫穎而出，提供獨立的服務和管道，所有這些都針對強大的性能進行了優化。 Sparrow 的關鍵功能之一- 可插拔架構。您可以使用LlamaIndex、Haystack 或Unstructured 等工具和框架輕鬆集成和運行數據提取管道。 Sparrow 通過Ollama 或Apple MLX 啟用本地LLM數據提取管道。使用Sparrow 解決方案，您可以獲得API，這有助於處理數據並將其轉換為結構化輸出，隨時可以與自定義工作流程集成。
openai/summarize_from_feedback 在“從人類反饋中學習”( Learning to Summarize from Human Feedback paper)一文中，根據人類反饋訓練了一個獎勵模型(reward model)。然後使用獎勵模型來訓練總結模型，使其與人類的偏好保持一致。這是為獎勵建模而發布的人類反饋數據集。此數據集分為兩部分： comparisons 和axis 。在這一comparisons 部分中，人類註釋者被要求從兩個摘要中選擇最好的。在這一axis 部分中，人類註釋者對摘要的質量進行了李克特量表的評分。 comparisons 該部件僅具有訓練和驗證拆分，並且axis 該部件僅具有測試和驗證拆分。
BradyFU/Woodpecker 引入了一種名為Woodpecker 的免訓練方法。就像啄木鳥治愈樹木一樣，它會從生成的文本中挑選並糾正幻覺。具體來說，啄木鳥包括五個階段：關鍵概念提取、問題表述、視覺知識驗證、視覺聲明生成和幻覺糾正。啄木鳥以補救後的方式實施，可以輕鬆地為不同的MLLM提供服務，同時可以通過訪問五個階段的中間輸出進行解釋。我們從定量和定性兩個方面對啄木鳥進行了評估，並展示了這種新範式的巨大潛力。在POPE 基準測試中，我們的方法比基線MiniGPT-4/mPLUG-Owl 的準確率提高了30.66%/24.33%。
gpustack/gpustack GPUStack 是一個開源的GPU 集群管理器，用於運行大型語言模型。主要特點：支持多種硬件：在Apple MacBook、Windows PC 和Linux 服務器中使用不同品牌的GPU 運行。與您的GPU 庫存一起擴展：輕鬆添加更多GPU 或節點以擴大您的運營規模。輕量級Python 包：最小的依賴項和運營開銷。兼容OpenAI 的API：提供與OpenAI 標準兼容的API。用戶和API 密鑰管理：簡化了用戶和API 密鑰的管理。 GPU指標監控：實時監控GPU 性能和利用率。詞元使用和費率指標：跟踪令牌使用情況並有效管理速率限制。
multimodal-art-projection/MAP-NEO MAP-NEO 是一個完全開源的大型語言模型，包括預訓練數據、數據處理管道（Matrix）、預訓練腳本和對齊代碼。它在4.5T 中英文詞元上從頭開始訓練，表現出與LLaMA2 7B 相當的性能。 MAP-Neo 模型在推理、數學和編碼等具有挑戰性的任務中提供類似專有模型的性能，優於同等規模的同類產品。出於研究目的，我們的目標是在LLM培訓過程中實現完全透明。為此，我們全面發布了MAP-Neo，包括最終和中間檢查點、自訓練標記器、預訓練語料庫，以及高效、穩定優化的預訓練代碼庫。
microsoft/JARVIS 一個將LLM與ML社區聯繫起來的系統。該系統由LLM作為控制器和眾多專家模型作為協作執行者（來自HuggingFace Hub）組成。我們系統的工作流程包括四個階段：任務規劃：使用ChatGPT分析用戶的請求以了解他們的意圖，並將其分解成可能解決的任務。模型選擇：為了解決計劃的任務，ChatGPT 根據他們的描述選擇託管在擁抱臉上的專家模型。任務執行：調用並執行每個選定的模型，並將結果返回給ChatGPT。響應生成：最後，使用ChatGPT 集成所有模型的預測，並生成響應。
ridgerchu/matmulfreellm 實現無MatMul LM。 MatMul-Free LM 是一種語言模型架構，無需矩陣乘法（MatMul） 運算。此存儲庫提供了與? Transformers 庫兼容的MatMul-Free LM 實現。我們評估了縮放定律如何擬合Transformer++ 和我們的模型中的370M、1.3B 和2.7B 參數模型。為了公平比較，每個操作的處理方式相同，儘管我們的模型在某些層中使用了更有效的三元權重。有趣的是，與Transformer++ 相比，我們模型的縮放投影表現出更陡峭的下降，這表明我們的架構在利用額外計算來提高性能方面更有效。
hijkzzz/Awesome-LLM-Strawberry 這是OpenAI Strawberry（o1）和Reasoning的研究論文和博客的集合。 OpenAI o1 系列模型是新的大型語言模型，經過強化學習訓練，可執行複雜推理。 o1 模型在回答之前會思考，並且可以在響應用戶之前產生一個很長的內部思維鏈。 o1 模型在科學推理方面表現出色，在競爭性編程問題（Codeforces） 中排名第89 個百分位，在美國數學奧林匹克競賽（AIME） 的資格賽中躋身美國前500 名學生之列，並在物理、生物和化學問題的基準（GPQA） 上超過人類博士水平的準確性。
THUDM/ChatGLM-6B 開源的、支持中英雙語的對話語言模型，基於 General Language Model (GLM) 架構，具有62 億參數。結合模型量化技術，用戶可以在消費級的顯卡上進行本地部署（INT4 量化級別下最低只需6GB 顯存）。 ChatGLM-6B 使用了和ChatGPT 相似的技術，針對中文問答和對話進行了優化。經過約1T 標識符的中英雙語訓練，輔以監督微調、反饋自助、人類反饋強化學習等技術的加持，62 億參數的ChatGLM-6B 已經能生成相當符合人類偏好的回答。
CVI-SZU/Linly 提供中文對話模型Linly-ChatFlow 、中文基礎模型Chinese-LLaMA (1-2)、Chinese-Falcon 及其訓練數據。中文基礎模型以LLaMA 和Falcon 為底座，使用中文和中英平行語料進行增量預訓練，將其在英文上的語言能力擴展到中文上。公開的多語言指令數據，對中文模型進行大規模指令跟隨訓練，實現了Linly-ChatFlow。此外，本項目開源了從頭訓練的Linly-OpenLLaMA 模型，包含3B、7B、13B 規模，在1TB 中英文語料上進行預訓練，針對中文優化了字詞結合tokenizer。
Qihoo360/360zhinao 360zhinao 是由奇虎360 發布的一系列中文大模型，包括360Zhinao-7B-Base、360Zhinao-7B-Chat-4K、360Zhinao-7B-Chat-32K、360Zhinao-7B-Chat-360K、360Zhinao-search 和360Zhinao-1.8B-Reranking。該系列模型基於3.4 萬億tokens 的高質量語料庫訓練，在相關基準測試中表現出色，特別是360Zhinao-7B-Chat-360K 模型，其360K 的上下文長度在發佈時是中文開源模型中最長的。該項目還提供了模型下載、評估、快速入門、模型推理和模型微調等功能，並發布了技術報告和arXiv 論文。
AUGMXNT/deccp 逃避和取消中國LLM的審查制度，當前代碼是用於取消審查Qwen 2 Instruct 模型的PoC。 95 個拒絕問題數據集augmxnt/deccp，實驗得知：在相同的問題上，中文的拒絕率實際上比英語少得多（>80%）。總結一下：Qwen 2 Instruct 被廣泛地RL 以符合政府/政策要求；EN 與CN 響應中的一些明顯差異；可以消除大部分的拒絕，但這並不一定能改善中國的回應，所以如果這種調整困擾你，你不應該使用RL的中國模型。
sakanaai/evolutionary-model-merge 大模型合併配方的進化優化。該存儲庫是SakanaAI 的Evolutionary Model Merge 系列的中心樞紐，展示了其發布和資源。它包括用於再現我們論文中提出的評估的模型和代碼。通過結合數據流空間和參數空間中的模型，自動生成新的強大模型。這種方法無需梯度訓練，減少了計算資源需求。這種方法不僅適用於單一領域的模型合併，還可以跨領域合併，例如將日語LLM與數學專用LLM合併，生成一個既會日語又具備數學推理能力的大語言模型。
databricks/dbrx 由Databricks 開發的大型語言模型的代碼示例和資源。 DBRX 是一個混合專家（MoE） 模型，具有132B 總參數和36B 實時參數。我們使用16 位專家，其中4 位在訓練或推理期間處於活躍狀態。 DBRX 針對12T 文本標記進行了預訓練。 DBRX 的上下文長度為32K 個令牌。該模型是使用我們的開源庫Composer、Foundry、LLMMegaBlocks 和Streaming 的優化版本進行訓練的。對於instruct 模型，我們使用了ChatML 格式。有關詳細信息，請參閱DBRX Instruct 模型卡。
varunshenoy/super-json-mode 超級JSON 模式是一個Python 框架，LLM通過將目標模式分解為原子組件，然後並行執行生成，可以有效地創建結構化輸出。它既支持通過OpenAI 的傳統完成API 實現的最新技術LLMs，也支持開源，LLMs例如通過Hugging Face Transformers 和vLLM。更多LLMs內容將很快得到支持！與依賴提示和HF Transformer 的樸素JSON 生成管道相比，我們發現超級JSON 模式的輸出生成速度提高了10 倍。與朴素一代相比，它也更具確定性，不太可能遇到解析問題。
QwenLM/Qwen1.5 Qwen1.5 是Qwen 團隊、阿里雲開發的大型語言模型系列Qwen 的改進版本。即Qwen2 的beta 版本。與Qwen 類似，它仍然是一個僅解碼器的變壓器模型，具有SwiGLU 激活、RoPE、多頭注意力。目前，我們已經取得了以下成就：6種型號尺寸：0.5B、1.8B、4B、7B、14B、72B;聊天模型中的模型質量顯著提高;加強了基礎模型和聊天模型中的多語言功能;所有模型都支持令牌的32768 上下文長度;所有型號都啟用系統提示，這意味著可以進行角色扮演。
HITsz-TMG/awesome-llm-attributions 歸因是指模型（例如LLM）生成和提供證據的能力，通常以參考文獻或引用的形式，以證實其產生的主張或陳述。這些證據來自可識別的來源，確保可以從基礎語料庫中邏輯地推斷出聲明，使其易於理解和驗證。歸因的主要目的包括使用戶能夠驗證模型提出的聲明，促進生成與引用來源密切相關的文本，以提高準確性並減少錯誤信息或幻覺，以及建立一個結構化框架來評估與所提出的聲明相關的支持證據的完整性和相關性。
steven2358/awesome-generative-ai 現代生成式人工智能項目和服務的精選列表。生成式人工智能是一種通過使用在大量數據上訓練的機器學習算法來創建圖像、聲音和文本等原創內容的技術。與其他形式的人工智能不同，它能夠創建獨特且以前看不見的輸出，例如逼真的圖像、數字藝術、音樂和寫作。這些作品通常有自己獨特的風格，甚至很難與人工創作的作品區分開來。生成式人工智能在藝術、娛樂、營銷、學術界和計算機科學等領域有著廣泛的應用。
SqueezeAILab/LLM2LLM LLM2LLM 是一種新穎的迭代數據增強策略，旨在通過使用大型語言模型（LLM）自身的能力來提升其性能。該方法的核心思想是利用一個教師LLM 來增強小型的種子數據集，通過生成合成數據並將其重新加入到訓練數據中，從而逐步提高模型的性能。這種方法不僅減少了手動生成數據的需要，還顯著降低了所需的真實數據量，使得在低數據機制中也能有效提升LLM 的性能。包括以下幾個步驟：在初始種子數據集中微調學生模型。
PCL-Platform.Intelligence/PanGu-Alpha 2000億開源中文預訓練語言模型「鵬城·盤古α」,以鵬城實驗室為首的技術團隊聯合攻關，首次基於“鵬城雲腦Ⅱ”和國產MindSpore框架的自動混合併行模式實現在2048卡算力集群上的大規模分佈式訓練，訓練出業界首個2000億參數以中文為核心的預訓練生成語言模型。鵬城·盤古α預訓練模型支持豐富的場景應用，在知識問答、知識檢索、知識推理、閱讀理解等文本生成領域表現突出，具備很強的小樣本學習能力。
protectai/rebuff Rebuff 旨在通過多層防禦保護AI 應用程序免受即時注入（PI） 攻擊。 Rebuff 提供4 層防禦：啟發式：在潛在惡意輸入到達LLM。 LLM 基於檢測：使用專用的LLM 來分析傳入的提示並識別潛在的攻擊。 VectorDB：將以前攻擊的嵌入存儲在向量數據庫中，以識別和防止將來發生類似的攻擊。金絲雀令牌：將金絲雀令牌添加到提示中以檢測洩漏，從而允許框架將有關傳入提示的嵌入存儲在向量數據庫中並防止未來的攻擊。
sail-sg/sailor-llm 東南亞的開放語言模型，Sailor 是一套為東南亞（SEA） 量身定制的開放語言模型，專注於印度尼西亞語、泰語、越南語、馬來語和老撾語等語言。通過精心策劃數據開發的，旨在理解和生成東南亞地區不同語言環境中的文本。 Sailor 基於Qwen 1.5 構建，包含不同尺寸的模型，從0.5B 到14B 版本，可滿足不同的要求。基準測試結果表明Sailor 熟練掌握東南亞語言的問答、常識推理、閱讀理解等任務。
stanford-crfm/levanter 用於訓練大型語言模型（LLMs） 和其他基礎模型的框架，旨在實現可讀性、可伸縮性和可重複性。清晰易讀：Levanter 使用我們命名的張量庫Haliax 編寫易於理解、可組合的深度學習代碼，同時仍然保持高性能。可擴展：Levanter 可擴展到大型模型，並能夠在各種硬件上進行訓練，包括GPU 和TPU。可重現：Levanter 是按位確定性的，這意味著相同的配置將始終產生相同的結果，即使面對搶占和恢復。
Langboat/Mengzi3 Mengzi3 8B/13B模型基於Llama架構，語料精選自網頁、百科、社交、媒體、新聞，以及高質量的開源數據集。通過在萬億tokens上進行多語言語料的繼續訓練，模型的中文能力突出並且兼顧多語言能力。孟子3 8B/13B基於Llama架構，語料庫選自網頁、百科、社交網絡、媒體、新聞、高質量開源數據集。通過繼續在數万億個詞元上訓練多語言語料庫，該模型具有出色的中文能力，並考慮到了多語言能力。
ymcui/Chinese-LLaMA-Alpaca-3 基於Meta最新發布的新一代開源大模型Llama-3開發，是Chinese-LLaMA-Alpaca開源大模型相關係列項目（一期、二期）的第三期。本項目開源了中文Llama-3基座模型和中文Llama-3-Instruct指令精調大模型。這些模型在原版Llama-3的基礎上使用了大規模中文數據進行增量預訓練，並且使用精選指令數據進行精調，進一步提升了中文基礎語義和指令理解能力，相比二代相關模型獲得了顯著性能提升。
X-PLUG/ChatPLUG 旨在建立和共享一個中文開放域對話系統。在推理過程中集成外部知識是靈活的，這是一個可選的輸入。您可以利用獲取最新信息或使用本地知識庫獲取search engine 領域知識。通過設置bot profiles 或使用role-paly instructions 來自定義對話和字符的樣式很容易。它通過多輪對話展示了其在開放領域對話方面的熟練程度，同時也在廣泛的NLP 任務上表現出色multi-task abilities 。
dvmazur/mixtral-offloading 在Colab 或消費者桌面上運行Mixtral-8x7B 模型，通過多種技術的組合實現了對Mixtral-8x7B模型的高效推理：使用HQQ 進行混合量化，我們為註意力層和專家應用單獨的量化方案，以將模型擬合到組合的GPU 和CPU 內存中。 MoE 卸載策略，每層的每個專家都單獨卸載，僅在需要時將背包帶到GPU，我們將活躍的EA 存儲在LRU 緩存中，以減少在計算相鄰令牌的激活時GPU-RAM 通信。
OpenBuddy/OpenBuddy OpenBuddy 是一個針對全球用戶的強大開放式多語言聊天機器人模型，強調對話式AI 和對英語、中文和其他語言的無縫多語言支持。 OpenBuddy 基於Tii 的Falcon 模型和Facebook 的LLaMA 模型構建，經過微調以包括擴展詞彙表、額外的常用字符和增強的令牌嵌入。通過利用這些改進和多輪對話數據集，OpenBuddy 提供了一個強大的模型，能夠回答各種語言的問題和執行翻譯任務。
openai/webgpt_comparisons 在WebGPT 論文中，作者根據人類反饋訓練了一個獎勵模型。他們使用獎勵模型來訓練一個長篇問答模型，以符合人類的偏好。這是在WebGPT 項目結束時被標記為適合獎勵建模的所有比較的數據集。總共有19,578 個比較。數據集中的每個示例都包含一個問題的一對模型答案以及關聯的元數據。每個答案都有一個來自人類的偏好分數，可用於確定兩個答案中哪一個更好。
poloclub/transformer-explainer Transformer Explainer 是一種交互式可視化工具，旨在幫助任何人了解基於Transformer 的模型（如GPT）的工作原理。它直接在瀏覽器中運行實時GPT-2 模型，允許您試驗自己的文本並實時觀察Transformer 的內部組件和操作如何協同工作以預測下一個令牌。在http://poloclub.github.io/transformer-explainer 上試用Transformer Explainer，並在YouTube https://youtu.be/ECR4oAwocjs 上觀看演示視頻。
THUDM/LongCite LongCite：使LLMs 能夠在長上下文QA 中生成細粒度引文。開源了兩個模型：LongCite-glm4-9b 和LongCite-llama3.1-8b，它們分別基於GLM-4-9B 和Meta-Llama-3.1-8B 進行訓練，並支持高達128K 的上下文。這兩個模型指向了我們論文中的“LongCite-9B”和“LongCite-8B”模型。給定基於長上下文的查詢，這些模型可以生成準確的響應和精確的句子級引用，使用戶可以輕鬆驗證輸出信息。
microsoft/guidance 指南使你能夠比傳統的提示或鏈接更有效、更高效地控制新式語言模型。指導程序允許您將生成、提示和邏輯控制交錯到單個連續流中，以匹配語言模型實際處理文本的方式。簡單的輸出結構，如思維鍊及其許多變體（例如，ART，Auto-CoT等）已被證明可以提高LLM的性能。像GPT-4 這樣更強大的LLM 的出現允許更豐富的結構，而guidance 使該結構更容易、更便宜。
meta-llama/llama3 Meta Llama 3 官方GitHub 站點。我們正在釋放大型語言模型的力量。我們最新版本的Llama 現在可供各種規模的個人、創作者、研究人員和企業使用，以便他們可以負責任地試驗、創新和擴展他們的想法。此版本包括預訓練和指令調整的Llama 3 語言模型的模型權重和起始代碼，包括8B 到70B 參數的大小。此存儲庫旨在作為加載Llama 3 模型和運行推理的最小示例。
zilliztech/GPTCache LLM 的語義緩存。 與LangChain 和llama_index 完全集成。將您的LLM API成本降低10倍，將速度提高100倍。採用了語義緩存等替代策略。語義緩存識別並存儲相似或相關的查詢，從而提高緩存命中概率並提高整體緩存效率。採用嵌入算法將查詢轉換為嵌入，並使用向量存儲對這些嵌入進行相似性搜索。此過程允許GPTCache 從緩存存儲中識別和檢索類似或相關的查詢。
CrazyBoyM/llama2-Chinese-chat llama2 13b 中文多輪對話模型，且”首發版”已在LLM排行榜取得優秀成績（至今仍在同類模型中處於較領先位置）。 llama2 Chinese chat - 本項目是一個教程記錄整理的repo，旨在提供給新手的參照價值和開箱即用的中文LLaMa2對話體驗。包含訓練過程記錄，各種主要量化方式，部署後端api的推薦方案，以及在一個具體的前端網頁上實現開箱即用的流暢對話體驗。
baichuan-inc/Baichuan2 百川智能推出的新一代開源大語言模型，採用2.6 萬億Tokens 的高質量語料訓練。在多個權威的中文、英文和多語言的通用、領域benchmark 上取得同尺寸最佳的效果。本次發布包含有7B、13B 的Base 和Chat 版本，並提供了Chat 版本的4bits 量化。所有版本對學術研究完全開放。同時，開發者通過郵件申請並獲得官方商用許可後，即可免費商用。
karpathy/LLM101n 在本課程中，我們將構建一個Storyteller AI 大型語言模型（LLM）。攜手合作，您將能夠使用AI 創建、完善和說明小故事。我們將從頭開始構建從基礎到類似於ChatGPT 的功能Web 應用程序的所有內容，從頭開始使用Python、C 和CUDA，並且具有最少的計算機科學先決條件。到最後，你應該對人工智能LLMs和更普遍的深度學習有相對深入的了解。
google/gemma_pytorch Gemma 是一個輕量級、最先進的開放模型系列，由用於創建Google Gemini 模型的研究和技術構建而成。它們是文本到文本、僅解碼器的大型語言模型，提供英語版本，具有開放權重、預訓練變體和指令調整變體。這是Gemma 模型的官方PyTorch 實現。我們使用PyTorch 和PyTorch/XLA 提供模型和推理實現，並支持在CPU、GPU 和TPU 上運行推理。
facebookresearch/lingua Meta Lingua 是一個最小且快速的LLM培訓和推理庫，專為研究而設計。 Meta Lingua 使用易於修改的PyTorch 組件來嘗試新的架構、損失、數據等。我們的目標是使該代碼能夠實現端到端的訓練、推理和評估，並提供工具來更好地理解速度和穩定性。雖然Meta Lingua 目前正在開發中，但我們為您提供了多個apps來展示如何使用此代碼庫。
lrhh123/ChatGPT-On-CS 基於大模型的智能對話客服工具，支持微信、千牛、嗶哩嗶哩、抖音企業號、抖音、抖店、微博聊天、小紅書專業號運營、小紅書、知乎等平台接入，可選擇GPT3.5/GPT4.0/ 懶人百寶箱（後續會支持更多平台），能處理文本、語音和圖片，通過插件訪問操作系統和互聯網等外部資源，支持基於自有知識庫定制企業AI 應用。
TransformerLensOrg/TransformerLens GPT 風格語言模型的機械可解釋性庫。機理可解釋性的目標是採用經過訓練的模型，並對模型在訓練期間從其權重中學習的算法進行逆向工程。 TransformerLens 允許您加載50+ 種不同的開源語言模型，並向您公開模型的內部激活。您可以在模型中緩存任何內部激活，並添加函數以在模型運行時編輯、刪除或替換這些激活。
spcl/graph-of-thoughts 思想圖Graph of Thoughts (GoT)：用大型語言模型解決複雜問題的官方實現。此框架使您能夠通過將復雜問題建模為操作圖（GoO） 來解決複雜問題，該操作圖以大型語言模型（LLM） 作為引擎自動執行。該框架設計為靈活且可擴展，不僅允許您使用新的GoT 方法解決問題，還可以實現類似於以前方法（如CoT 或ToT）的GoO。
pjlab-sys4nlp/llama-moe 通過持續的預培訓建立來自LLaMA 的專家組合。於LLaMA 和SlimPajama 的一系列開源專家混合（MoE） 模型。我們通過以下兩個步驟構建LLaMA-MoE：將LLaMA 的FFN 劃分為稀疏專家，並為每一層專家插入top-K 門。使用來自Sheared LLaMA 的優化數據採樣權重和來自SlimPajama 的過濾數據集，持續預訓練初始化的MoE 模型。
OpenBMB/CPM-Bee 一個完全開源、允許商用的百億參數中英文基座模型，也是CPM-Live訓練的第二個里程碑。它採用Transformer自回歸架構（auto-regressive），在超萬億（trillion）高質量語料上進行預訓練，擁有強大的基礎能力。開發者和研究者可以在CPM-Bee基座模型的基礎上在各類場景進行適配來以創建特定領域的應用模型。
wenge-research/YaYi 為客戶打造安全可靠的專屬大模型，基於大規模中英文多領域指令數據訓練的LlaMA 2 & BLOOM 系列模型，由中科聞歌算法團隊研發。在百萬級人工構造的高質量領域數據上進行指令微調得到，訓練數據覆蓋媒體宣傳、輿情分析、公共安全、金融風控、城市治理等五大領域，上百種自然語言指令任務。
JosephusCheung/GuanacoDataset Guanaco 模型的數據集旨在增強多語言能力並解決各種語言任務。以Alpaca 模型的175個任務為基礎，提供了用不同語言重寫的種子任務，並添加了專門為英語語法分析、自然語言理解、跨語言自我意識和顯式內容識別設計的新任務。數據集總共包含53萬個條目，以6k美元的低成本生成。英語中文日語。
CrazyBoyM/phi3-Chinese phi3以小搏大（從微軟放出的跑分數據看），用不到1/2的小體積（3.8b）超越llama3 8b版性能表現，增大了在手機上部署的可行性。該倉庫致力於收錄分散在開源社區的各種phi3的訓練變體版本，讓更多網友發現那些不為人知的特色有趣權重。同時也會順便整理phi相關訓練、推理、部署的簡單教程。
imoneoi/openchat 使用不完善的數據推進開源語言模型。 OpenChat是一系列基於監督微調（SFT）的開源語言模型。我們利用~80k ShareGPT 對話與條件反射策略和加權損失，儘管我們的方法很簡單，但仍實現了卓越的表現。我們的最終願景是開發一個高性能、開源和商用的大型語言模型，並且我們正在不斷取得進展。
princeton-nlp/LLM-Shearing 剪切LLaMA：通過結構化修剪加速語言模型預訓練，與從頭開始預訓練相比，修剪強大的基礎模型是獲得強大的小規模語言模型的一種極具成本效益的方法。下圖顯示，給定Llama-2-7B 模型（使用2T 令牌預訓練）的存在，修剪它會產生一個與OpenLLaMA 模型一樣強大的模型，其預訓練成本僅為3%。
JosephusCheung/GuanacoDataset Guanaco模型的數據集旨在增強多語言能力並解決各種語言任務。它以Alpaca 模型中的175 個任務為基礎，提供不同語言的種子任務重寫，並添加專門為英語語法分析、自然語言理解、跨語言自我意識和顯式內容識別而設計的新任務。該數據集總共包含534,530 個條目，以6K 美元的低成本生成。
amazon-science/auto-cot “大型語言模型中的自動思維鏈提示”的官方實現，用“讓我們一步一步地思考”的提示讓AI 振作起來？請多多說。讓我們不僅要一步一步地思考，還要一個一個地思考。 Auto-CoT 使用更多的cheers和多樣性來節省思維鏈提示設計中的巨大手動工作，匹配甚至超過GPT-3 上的手動設計性能。
THUDM/GLM-130B GLM-130B是一個開放的雙語（英漢）雙向密集模型，具有1300億個參數，使用通用語言模型（GLM）算法進行預訓練。它旨在支持單個A100 （40G * 8） 或V100 （32G * 8） 上具有130B 參數的推理任務。通過INT4 量化，硬件可以進一步降低到具有4 * RTX3090 24G 的單個服務器，幾乎沒有性能下降。
refuel-ai/autolabel Python 庫，用於使用您選擇的任何大型語言模型（LLM） 標記、清理和豐富文本數據集。訪問大型、乾淨和多樣化的標記數據集是任何機器學習工作成功的關鍵組成部分。 LLMs像GPT-4 這樣的先進技術能夠以高精度自動標記數據，而且與手動標記相比，成本和時間只是其中的一小部分。
ymcui/Chinese-LLaMA-Alpaca 中文LLaMA模型和經過指令精調的Alpaca大模型。這些模型在原版LLaMA的基礎上擴充了中文詞表並使用了中文數據進行二次預訓練，進一步提升了中文基礎語義理解能力。同時，在中文LLaMA的基礎上，本項目使用了中文指令數據進行指令精調，顯著提升了模型對指令的理解和執行能力。
goldfishh/chatgpt-tool-hub 一個開源的chatgpt 工俱生態系統，您可以在其中將工具與chatgpt 結合使用並使用自然語言做任何事情。這是一個能讓ChatGPT使用多個神奇工具的執行引擎，你能用自然語言命令ChatGPT使用聯網、搜索、數學運算、控制電腦、執行代碼等工具，擴大ChatGPT使用範圍提高你的生產力。
LC1332/Luotuo-Silk-Road 中文大語言模型的數據。對話與指令數據集：Luotuo-Chinese-Alpaca 駱駝-中國-羊駝、Chinese-Dolly 中國多莉、Chinese-WizardLM 中國巫師LM、閱讀理解數據Chinese-CoQA 、Luotuo-QA-B、圖文跨模態數據Chinese-MMC4-130k 中文-MMC4-130k、Chinese-Coco-Captioning 中文-可可-字幕、Embedding蒸餾數據CNewSum-Embedding
karpathy/nano-llama31 這個repo 之於Llama 3.1，就像nanoGPT 之於GPT-2。也就是說，它是Llama 3.1 架構的最小、無依賴的實現，它可以非常簡單地訓練、微調和推理。這與Meta 的官方代碼發布和huggingface 實現相比，後者都具有更重的依賴性和更多的代碼。代碼目前主要針對Llama 3.1 的8B 基礎模型。
FranxYao/Long-Context-Data-Engineering 實現論文數據工程，將語言模型擴展到128K 上下文。使用tensor_parallel從這個存儲庫實現的device_map ，因為它比huggingface 快得多，比vLLM 輕量級。但它有一個小錯誤，如果你的GPU 內存不夠大，它會卡住而不是通過內存溢出異常。因此，請確保您有足夠的GPU 內存。
LLMBook-zh/LLMBook-zh.github.io 《大語言模型》作者：趙鑫，李軍毅，周昆，唐天一，文繼榮。希望讀者通過閱讀本書，能夠深入了解大模型技術的現狀和未來趨勢，為自己的研究和實踐提供指導和啟發。讓我們攜手努力，共同推動人工智能技術的發展，為建立更智能、更可持續的未來做出貢獻。
Mozilla-Ocho/llamafile 目標是使開發人員和最終用戶更容易訪問開源大型語言模型。我們通過將llama.cpp 與Cosmopolitan Libc 合併到一個框架中來做到這一點，該框架將所有復雜性LLMs折疊成一個單文件可執行文件（稱為“llamafile”），該可執行文件可在大多數計算機上本地運行，無需安裝。
jzhang38/TinyLlama 在3 萬億個詞元上預訓練1.1B Llama 模型。採用了與Llama 2 完全相同的架構和分詞器。這意味著TinyLlama 可以在許多基於Llama 構建的開源項目中插入和播放。此外，TinyLlama 結構緊湊，只有1.1B 參數。這種緊湊性使其能夠滿足眾多需要有限計算和內存佔用的應用程序。
mbzuai-nlp/LaMini-LM 來自大規模指令的多樣化蒸餾模型群。從ChatGPT提煉出來的小型高效語言模型的集合，並在2.58M指令的大規模數據集上進行訓練。我們通過執行句子/離線提煉從大型語言模型中提取知識。我們基於幾個現有的提示資源，使用gpt-3.5-turbo 生成總共2.58M 對指令和響應。
daveebbelaar/langchain-experiments 側重於試驗LangChain 庫，以構建具有大型語言模型的強大應用程序（LLMs）。通過利用GPT-3.5 Turbo 、GPT-4等最先進的語言模型，該項目展示瞭如何從YouTube 視頻成績單創建可搜索的數據庫，使用FAISS 庫執行相似性搜索查詢，並用相關和準確的信息回答用戶問題。
deepseek-ai/DeepSeek-MoE DeepSeekMoE 16B 是一種具有16.4B 參數的專家混合（MoE） 語言模型。它採用了創新的MoE 架構，該架構涉及兩個主要策略：細粒度專家細分和共享專家隔離。它在2T 英文和中文詞元上從頭開始訓練，表現出與DeekSeek 7B 和LLaMA2 7B 相當的性能，只有大約40% 的計算。
decodingml/llm-twin-course 免費學習如何使用LLMOps 最佳實踐構建端到端生產就緒的LLM 和RAG 系統：~ 源代碼+ 12 節實踐課。您將學習如何從頭到尾構建和構建真實世界的LLM系統- 從數據收集到部署。您還將學習利用MLOps 最佳實踐，例如實驗跟踪器、模型註冊表、提示監視和版本控制。
baichuan-inc/baichuan-7B 百川開發的大規模7B預訓練語言模型。一個開源可商用的大規模預訓練語言模型。基於Transformer 結構，在大約1.2 萬億詞元上訓練的70 億參數模型，支持中英雙語，上下文窗口長度為4096。在標準的中文和英文benchmark（C-Eval/MMLU）上均取得同尺寸最好的效果。
LianjiaTech/BELLE 開源中文對話大模型，現階段基於開源預訓練大語言模型（如BLOOM），針對中文做了優化，模型調優僅使用由ChatGPT生產的數據（不包含任何其他數據）。開放了數據集：Stanford Alpaca 生成的中文數據集1M + 0.5M；0.25M數學指令數據集和0.8M多輪任務對話數據集。
Mooler0410/LLMsPracticalGuide LLM實用指南資源的精選列表。它基於我們的調查論文：在實踐中利用LLM的力量：關於ChatGPT及其他的調查。該調查部分基於本博客的後半部分。我們還構建了現代大型語言模型（LLM）的進化樹，以追踪近年來語言模型的發展，並重點介紹一些最著名的模型。
lm-sys/arena-hard-auto Arena-Hard-Auto-v0.1 是一個用於指令調整的LLMs。它包含500 個具有挑戰性的用戶查詢。我們提示GPT-4-Turbo 作為裁判將模型的反應與基線模型（默認：GPT-4-0314）進行比較。如果您想了解您的模型在Chatbot Arena 上的表現如何，我們建議您嘗試Arena-Hard-Auto。
EleutherAI/gpt-neox 在GPU上訓練大規模語言模型。基於NVIDIA 的威震天語言模型，並已通過DeepSpeed 的技術以及一些新穎的優化進行了增強。目標是使這個存儲庫成為一個集中且可訪問的地方，以收集用於訓練大規模自回歸語言模型的技術，並加速對大規模訓練的研究。
ibeatai/beat-ai <Beat AI> 又名<零生萬物> , 是一本專屬於軟件開發工程師的AI 入門聖經，手把手帶你上手寫AI。從神經網絡到大模型，從高層設計到微觀原理，從工程實現到算法，學完後，你會發現AI 也並不是想像中那麼高不可攀、無法戰勝，Just beat it !
mlabonne/llm-course 使用路線圖和Colab 筆記本來學習大型語言模型（LLMs） 的課程。該LLM課程分為三個部分：LLM 基礎知識涵蓋有關數學、Python 和神經網絡的基本知識。科學家LLM專注於LLMs使用最新技術構建最佳產品。 LLM 工程師專注於創建LLM基於應用程序並部署它們。
PCL-Platform.Intelligence/PanGu-Dialog 鵬城.盤古對話生成大模型，簡稱PanGu-Dialog。 PanGu-Dialog是以大數據和大模型為顯著特徵的大規模開放域對話生成模型，充分利用了大規模預訓練語言模型的知識和語言能力，基於預訓練+持續微調的學習策略融合大規模普通文本和對話數據訓練而成。
xcanwin/KeepChatGPT ChatGPT的暢聊與增強插件。開源免費。不僅能解決所有報錯不再刷新，還有保持活躍、取消審計、克隆對話、淨化首頁、展示大屏、展示全屏、言無不盡、攔截跟踪、日新月異等多個高級功能。讓我們的AI體驗無比順暢、絲滑、高效、簡潔。
adamcohenhillel/ADeus 一種開源AI 可穿戴設備，可捕獲您在現實世界中所說和聽到的內容，然後將其轉錄並存儲在您自己的服務器上。然後，您可以使用該應用程序與Adeus 聊天，它將包含有關您想要談論的內容的所有正確上下文- 一個真正個性化的個人AI。
microsoft/lida LIDA是一個用於生成數據可視化和數據忠實信息圖表的庫。 LIDA 與語法無關（適用於任何編程語言和可視化庫，例如matplotlib、seaborn、altair、d3 等），並與多個大型語言模型提供商（OpenAI、Azure OpenAI、PaLM、Cohere、Huggingface）配合使用。
ShishirPatil/gorilla LLM的API商店。使LLM 能夠通過調用API 來使用工具。給定一個自然語言查詢，Gorilla 會提出語義和語法上正確的API 來調用。通過Gorilla，我們是第一個演示如何使用LLM準確調用1，600+（並且不斷增長的）API調用，同時減少幻覺的人。
Stability-AI/StableLM 穩定性AI語言模型。使用Stanford Alpaca 的程序對模型進行了微調，結合了五個最近的對話代理數據集：Stanford 的Alpaca 、Nomic-AI 的gpt4all 、RyokoAI 的ShareGPT52K 數據集、Databricks的Dolly 和HH 。以StableLM-Tuned-Alpha 的形式發布這些模型。
Hannibal046/Awesome-LLM 大型語言模型（LLM）已經席捲了NLP社區AI社區的整個世界。以下是關於大型語言模型的精選論文列表，尤其是與ChatGPT 相關的論文。它還包含LLM培訓框架，部署LLM的工具，有關LLM的課程和教程以及所有公開可用的LLM檢查點和API。
ysymyth/ReAct ICLR 2023年ReAct：在語言模型中協同推理和行動。採用多輪次的“想法（thought）+動作（act）+結果（obs）”方式，讓LLM把內心獨白（想法）說出來，然後再根據獨白做相應的動作，獲得結果，來提高最終的LLM答案準確性。
LightChen233/Awesome-Multilingual-LLM Awesome-多語言LLM。實際上，世界上有7000 多種語言。隨著全球化進程的加快，大型語言模型的成功應該考慮服務於不同的國家和語言。為此，多語言大型語言模型（MLLM）在處理多種語言時具有優勢，越來越受到關注。
mistralai/mistral-src Mistral AI 7B v0.1 模型的參考實現。一個功能強大且快速的模型，適用於許多用例。雖然速度快6 倍，但它在所有基準測試中都與Llama 2 70B 相當或更勝一籌，會說多種語言，具有自然的編碼能力。它處理32k 序列長度。
LC1332/Luotuo-Chinese-LLM 中文大語言模型開源項目，包含了一系列語言模型。 Luotuo-Vanilla是駱駝項目的第一個github倉庫, 它是在LLaMA-7B上進行微調的。駱駝項目的初始目標，是研究使用跨語言數據在進行微調時，大語言模型發生的相關現象。
Calcium-Ion/new-api AI模型接口管理與分發系統，支持將多種大模型轉為OpenAI格式調用、支持Midjourney Proxy、Suno、Rerank，兼容易支付協議，僅供個人或者企業內部管理與分發渠道使用，請勿用於商業用途，本項目基於One API二次開發。
PhoebusSi/Alpaca-CoT 將CoT數據擴展到Alpaca以提高其推理能力，同時我們將不斷收集更多的instruction-tuning數據集,並在我們框架下集成進更多的LLM，打造一個通用的LLM-IFT平台。 Alpaca-CoT · Datasets
km1994/LLMsNineStoryDemonTower 分享LLMs在自然語言處理（ChatGLM、Chinese-LLaMA-Alpaca、小羊駝Vicuna、LLaMA、GPT4ALL等）、信息檢索（langchain）、語言合成、語言識別、多模態等領域（Stable Diffusion、MiniGPT-4、VisualGLM-6B、Ziya-Visual等）等實戰與經驗。
Yue-Yang/ChatGPT-Siri Siri的快捷方式使用ChatGPT API gpt-3.5-turbo和gpt-4模型，支持連續對話，配置API密鑰並保存聊天記錄。由ChatGPT API gpt-3.5-turbo & gpt-4 模型驅動的智能Siri，支持連續對話，配置API key，配置系統prompt，保存聊天記錄。
mosaicml/llm-foundry 用於MosaicML 基礎模型的LLM 訓練代碼，包含用於訓練、微調、評估和部署LLM 的代碼，以便使用Composer 和MosaicML 平台進行推理。該代碼庫設計為易於使用、高效和靈活，旨在支持使用最新技術進行快速實驗。
stas00/ml-engineering 一個開放的方法集合，可幫助成功訓練大型語言模型和多模態模型。這是一本適合LLM/VLM培訓工程師和操作員的技術材料。也就是說，這裡的內容包含大量腳本和復制粘貼命令，使您能夠快速滿足您的需求。
orhanerday/open-ai OpenAI PHP SDK ：下載次數最多、分叉次數最多、貢獻次數最多、社區支持和使用的OpenAI GPT-3 和DALL-E 的PHP（Laravel 、Symfony、Yii、Cake PHP 或任何PHP 框架）SDK。它還支持類似chatGPT 的流媒體。 （支持ChatGPT AI）
danswer-ai/danswer 用自然語言提問，並獲得私人資源支持的答案。連接到Slack、GitHub、Confluence 等工具。允許您使用自然語言提出問題，並根據團隊特定文檔獲得答案。想想ChatGPT，如果它可以訪問您團隊的獨特知識。
Arize-ai/phoenix 以閃電般的速度提供MLOps 和LLMOps 見解，具有零配置可觀測性。 Phoenix 通過提供以下功能，為監視模型和LLM應用程序提供筆記本優先體驗：LLM跟踪。 LLM Evals。嵌入分析。 RAG 分析。結構化數據分析。
BASI-LABS/parseltongue 能強大的提示黑客工具/瀏覽器擴展，用於實時標記化可視化和無縫文本轉換，支持二進制、base64、leetspeak、特殊字符和多種語言等格式。非常適合紅隊成員、開發人員、語言學家和潛在的探索者。
bricks-cloud/BricksLLM Go 編寫的雲原生AI 企業級API 網關，可幫助您監控每個API 密鑰並施加成本或速率限制。為每個用戶、應用程序或環境提供精細的訪問控制和監控。支持OpenAI、Azure OpenAI、Anthropic、vLLM 和開源LLMs。
LLM-Red-Team/kimi-free-api KIMI AI 長文本大模型逆向API白嫖測試【特長：長文本解讀整理】，支持高速流式輸出、智能體對話、聯網搜索、長文檔解讀、圖像OCR、多輪對話，零配置部署，多路token支持，自動清理會話痕跡。
jxnl/instructor 處理大型語言模型的結構化輸出變得輕而易舉（LLMs）。它建立在Pydantic 之上，提供了一個簡單、透明且用戶友好的API 來管理驗證、重試和流式響應。準備好為您的LLM工作流程增添動力
GoogleCloudPlatform/generative-ai 包含筆記本、代碼示例、示例應用和其他資源，用於演示如何使用Google Cloud 上的生成式AI 使用、開發和管理生成式AI 工作流程，這些工作流由Vertex AI 和生成式AI App Builder 提供支持。
clue-ai/ChatYuan 用於問答、結合上下文做對話、做各種生成任務，包括創意性寫作，也能回答一些像法律、新冠等領域問題。它基於PromptCLUE-large結合數億條功能對話多輪對話數據進一步訓練得到。
bleedline/Awesome-gptlike-shellsite 深入探索精選的gpt套殼站和必備API資源。本文為初學者和經驗豐富的運營者提供一站式指南，涵蓋常見問題解答和基礎攻略，助您邁向套殼站副業成功之路。便宜且高並發的api。
kwai/KwaiYii 由快手AI團隊從零到一獨立自主研發的一系列大規模語言模型（Large Language Model），當前包含了多種參數規模的模型，並覆蓋了預訓練模型（KwaiYii-Base)、對話模型（KwaiYii-Chat)。
databrickslabs/dolly dolly-v2-12b是由Databricks創建的120億參數因果語言模型，該模型源自EleutherAI的Pythia-12b，並在Databricks員工生成的~15K記錄指令語料庫上進行微調，並在寬鬆許可證（CC-BY-SA）下發布
cheshire-cat-ai/core Cheshire Cat 是一個框架，用於在任何語言模型上構建自定義AI。如果您曾經使用WordPress 或Django 等系統構建Web 應用程序，請將Cat 想像成一個類似的工具，但專門用於AI。
traceloop/openllmetry OpenLLMetry 是一個開源項目，可讓您輕鬆開始監控和調試LLM。跟踪以非侵入性方式完成，構建在OpenTelemetry 之上。您可以選擇將跟踪導出到Traceloop 或現有的可觀測性堆棧。
nlpxucan/WizardLM 由Evol-Instruct提供支持的遵循指令的LLM系列：WizardLM，WizardCoder和WizardMath。基於GPT-4的自動評估框架來評估聊天機器人模型的性能。 WizardLM-30B取得了比Guanaco-65B更好的結果。
shibing624/textgen 文本生成模型的實現，包括LLaMA，BLOOM，GPT2，BART，T5，SongNet等。文本生成模型，實現了包括LLaMA，ChatGLM，BLOOM，GPT2，Seq2Seq，BART，T5，UDA等模型的訓練和預測，開箱即用。
facebookresearch/llama facebook LLaMA 模型的推理代碼。最新版本的Llama 現在可供各種規模的個人、創作者、研究人員和企業訪問，以便他們可以負責任地進行實驗、創新和擴展他們的想法。
protectai/llm-guard LLM AI 的LLM Guard 是一款綜合工具，旨在加強大型語言模型（LLMs）。通過提供清理、有害語言檢測、防止數據洩露和抵禦即時注入攻擊，LLM 確保您與LLMs保持安全。
eli64s/readme-ai 一種開發人員工具，它使用數據提取和生成式AI 的組合自動生成README.md 文件。只需提供代碼庫的存儲庫URL 或本地路徑，即可生成結構良好且詳細的README 文件。
logspace-ai/langflow LangChain（大語言模型鍊式開發工具，強大的框架，可以簡化構建高級語言模型應用程序的過程。） 的UI，採用反應流設計，提供一種輕鬆的方式來實驗和原型流。
kyrolabs/awesome-langchain 使用LangChain的工具和項目的精選列表。 LangChain是一個了不起的框架，可以在短時間內完成LLM項目，並且生態系統正在快速發展。這裡試圖跟踪圍繞LangChain的舉措。
yihong0618/bilingual_book_maker AI 翻譯工具，它使用ChatGPT 幫助用戶創建多語言版本的epub/txt/srt 文件和書籍。此工具專為翻譯已進入公有領域的epub 圖書而設計，不適用於受版權保護的作品。
togethercomputer/RedPajama-Data 包含用於準備大型數據集以訓練大型語言模型的代碼。重現LLaMA訓練數據集的開源配方。 Commoncrawl、C4、GitHub、Books、ArXiv、Wikipedia、StackExchange。合計1.2萬億令牌
EmbraceAGI/LifeReloaded 由GPT-4的“高級數據分析”功能提供支持的生活模擬遊戲，為您提供第二次生活機會。由GPT4的Advanced Data Analysis功能驅動的人生重來模擬器，給您人生第二春。
seanzhang-zhichen/llama3-chinese Llama3-Chinese是以Meta-Llama-3-8B為底座，使用DORA + LORA+ 的訓練方法，在50w高質量中文多輪SFT數據+ 10w英文多輪SFT數據+ 2000單輪自我認知數據訓練而來的大模型。
lonePatient/awesome-pretrained-chinese-nlp-models 高質量中文預訓練模型集合。包括：基礎大模型、對話大模型、多模態對話大模型、大模型評估基準、開源模型庫平台、開源數據集庫、中文指令數據集。
FreedomIntelligence/LLMZoo 一個為大型語言模型提供數據，模型和評估基準的項目。發布基於BLOOMZ的鳳凰Phoenix7B模型、Chimera奇美拉模型。 Phoenix-inst-chat-7b 達到85.2% 的ChatGPT效果。
mlc-ai/web-llm 將大語言模型和聊天引入Web 瀏覽器。一切都在瀏覽器中運行，沒有服務器支持。 WebLLM是MLC LLM的姊妹項目。它重用了模型工件並構建了MLC LLM的流程。
tensorchord/Awesome-LLMOps 為開發人員提供的最佳LLMOps 工具列表，包括各種大型語言模型、大型模型服務、LLMOps 平台、向量檢索、訓練微調、ML 平台、工作流、管理分析等。
Voine/ChatWaifu_Mobile 移動版二次元AI 老婆聊天器語言大模型來自GhatGPT語音推理為客戶端本地VITS - ncnn圖形渲染基於Native Live2D語音輸入識別為客戶端本地Sherpa - ncnn
project-baize/baize-chatbot 使用LoRA 訓練的開源聊天模型.它使用通過讓ChatGPT 與自己聊天生成的100k 對話。還使用羊駝的數據來提高其性能。已發布了7B、13B 和30B 模型。
amazon-science/mm-cot 語言模型中的多模式思維鏈推理。包括兩個訓練階段：(i) 基本原理生成和(ii) 答案推理。這兩個階段共享相同的模型架構，但輸入和輸出不同。
HqWu-HITCS/Awesome-Chinese-LLM 整理開源的中文大語言模型，以規模較小、可私有化部署、訓練成本較低的模型為主，包括底座模型，垂直領域微調及應用，數據集與教程等。
pashpashpash/vault-ai 使用OP Stack（OpenAI + Pinecone Vector Database）為ChatGPT 提供長期記憶。使用簡單的React 前端上傳您自己的自定義知識庫文件（PDF、txt、epub 等）。
young-geng/EasyLM 在JAX/Flax LLMs 中進行預訓練、微調、評估和服務的一站式解決方案，EasyLM 可以利用JAX 的pjit 功能將訓練擴展到LLM數百個TPU/GPU 加速器。
chatpire/chatgpt-web-share ChatGPT Plus 共享方案。適用於個人、組織或團隊的ChatGPT 共享方案。共享一個ChatGPT Plus 賬號給多人使用，提供完善的管理和限制功能。
datawhalechina/hugging-llm 擁抱LLM，擁抱未來。介紹ChatGPT 原理、使用和應用，降低使用門檻，讓更多感興趣的非NLP或算法專業人士能夠無障礙使用LLM創造價值。
PawanOsman/ChatGPT 歡迎使用ChatGPT API 免費反向代理，它以OpenAI 熟悉的結構提供對ChatGPT （ gpt-3.5-turbo ） 的免費自託管API 訪問，因此無需更改代碼。
LAION-AI/Open-Assistant 基於聊天的助理，它理解任務，可以與第三方系統互動，並能動態地檢索信息。將提供基於RLHF的大型語言模型，並公開訓練數據。
Vision-CAIR/MiniGPT-4 MiniGPT-4：使用高級大型語言模型增強視覺語言理解提供與Vicuna-7B 對齊的預訓練MiniGPT-4！演示GPU 內存消耗現在可以低至12GB。
gventuri/pandas-ai Python庫，它將生成人工智能功能集成到Pandas中，使數據幀成為對話式的。為流行的數據分析和操作工具pandas添加了生成AI功能。
ConnectAI-E/Feishu-OpenAI 飛書×（GPT-3.5 + DALL·E + Whisper）= 飛一般的工作體驗rocket 語音對話、角色扮演、多話題討論、圖片創作、表格分析、文檔導出
JimmyLv/BibiGPT-v1 音視頻內容AI 一鍵總結& 對話：嗶哩嗶哩丨YouTube丨推特丨小紅書丨抖音丨快手丨百度網盤丨阿里雲盤丨網頁丨本地文件等
Grt1228/chatgpt-java ChatGPT Java SDK支持流式輸出、Gpt插件、聯網。支持OpenAI官方所有接口。 ChatGPT的Java客戶端。 OpenAI GPT-3.5-Turb GPT-4 Api Client for Java
YeungNLP/firefly-train-1.1M 收集了23個常見的中文數據集，對於每個任務，由人工書寫若干種指令模板，保證數據的高質量與豐富度，數據量為115萬。
OpenMotionLab/MotionGPT 一個統一且用戶友好的運動語言模型，用於學習兩種模態的語義耦合，並在多個運動任務上生成高質量的運動和文本描述。
Lightning-AI/lit-llama 基於nanoGPT的LLaMA語言模型的實現。支持flash注意力， Int8 和GPTQ 4 位量化， LoRA 和LLaMA 適配器微調， 預訓練.Apache 2.0 許可。
ConnectAI-E/Feishu-OpenAI 飛書×（GPT-4 + DALL·E + Whisper）= 飛一般的工作體驗，語音對話、角色扮演、多話題討論、圖片創作、表格分析、文檔導出
naklecha/llama3-from-scratch llama3 從頭開始實現，此外，我將直接從Meta 為llama3 提供的模型文件加載張量。詳細解釋llama3 大模型每一個運算步驟。
BerriAI/litellm 使用OpenAI 格式調用所有LLM API。使用Bedrock、Azure、OpenAI、Cohere、Anthropic、Ollama、Sagemaker、HuggingFace、Replicate （100+ LLM）
Giskard-AI/giskard 自動檢測AI 模型中的漏洞，從表格模型到LLM，包括性能偏差、數據洩露、虛假相關性、幻覺、毒性、安全問題等等。
SkyworkAI/Skywork 天工系列模型在3.2TB高質量多語言和代碼數據上進行預訓練。我們開源了模型參數，訓練數據，評估數據，評估方法。
SillyTavern/SillyTavern 面向高級用戶的LLM 前端。本地安裝界面，可讓您與文本生成AI （LLM） 交互，以與自定義角色進行聊天和角色扮演。
dataelement/bisheng 領先的開源大模型應用開發平台，賦能和加速大模型應用開發落地，幫助用戶以最佳體驗進入下一代應用開發模式。
langchain-ai/langserve 幫助開發人員將LangChain 可運行的可運行程序和鏈部署為REST API。該庫與FastAPI 集成，並使用pydantic 進行數據驗證。
labring/FastGPT 基於LLM 構建的基於知識的QA 系統，提供開箱即用的數據處理和模型調用功能，允許通過Flow 可視化進行工作流編排
betalgo/openai 用於訪問OpenAI 的API 的.NET SDK，作為社區庫提供。此SDK 允許您輕鬆地將OpenAI 的功能集成到您的.NET 應用程序中。
YiVal/YiVal 一個開源的GenAI-Ops 工具，用於使用可自定義的數據集、評估方法和改進策略來調整和評估提示、配置和模型參數。
CrazyBoyM/llama3-Chinese-chat Llama3 中文倉庫（聚合資料：各種網友及廠商微調、魔改版本有趣權重& 訓練、推理、部署教程視頻& 文檔）
StanGirard/quivr 將所有文件和想法轉儲到您的生成式AI（如chatgpt）的第二大腦中並與之聊天。旨在輕鬆存儲和檢索非結構化信息。
sigoden/aichat 全能AI CLI工具，具有Chat-REPL、Shell Assistant、RAG、AI工具和代理功能，可以訪問OpenAI、Claude、Gemini、Ollama、Groq等。
andysingal/llm-course 列出了一些關於大型語言模型、視覺基礎模型、人工智能生成內容、相關數據集和應用程序的很棒的公共項目。
pezzolabs/pezzo 開源、開發人員優先的LLMOps 平台，旨在簡化提示設計、版本管理、即時交付、協作、故障排除、可觀測性等。
xusenlinzy/api-for-open-llm LLaMA, LLaMA-2, BLOOM, Falcon, Baichuan, Qwen, Xverse, SqlCoder, CodeLLaMA, ChatGLM, ChatGLM2, ChatGLM3 etc. 開源大模型的統一後端接口
Datayoo/HuggingFists 一個低代碼數據流工具，允許方便地LLM使用和HuggingFace 模型，其中一些功能被認為是Langchain 的低代碼版本。
yomorun/yomo 用於地理分佈式邊緣AI 基礎設施的有狀態無服務器框架。借助函數調用支持，編寫一次，在任何模型上運行。
csunny/DB-GPT 使用本地GPT 與您的數據和環境交互，無數據洩漏，100% 私密，100% 安全目前支持Vicuna(7b, 13b), ChatGLM-6b(int4, int8)
iryna-kondr/scikit-llm 將LLM 無縫集成到scikit-learn 中。將ChatGPT 等強大的語言模型無縫集成到scikit-learn 中，以增強文本分析任務。
postgresml/postgresml GPU 驅動的AI 應用程序數據庫。利用SQL 的簡單性和最新的NLP、ML + LLM 模型，更快地將您的應用推向市場。
sunner/ChatALL 同時與ChatGPT，Bing Chat，Bard，Alpaca，Vicuna，Claude，ChatGLM，MOSS，訊飛星火，文心一言等聊天，發現最佳答案
hyperonym/basaran OpenAI 文本完成API 的開源替代品。它為基於Hugging Face Transformer 的文本生成模型提供兼容的流式處理API。
yzfly/awesome-chatgpt-zh ChatGPT 中文指南，ChatGPT 中文調教指南，指令指南，精選資源清單，更好的使用chatGPT 讓你的生產力
openai-translator/bob-plugin-openai-translator 基於ChatGPT API 的文本翻譯、文本潤色、語法糾錯Bob 插件，讓我們一起迎接不需要巴別塔的新時代
YuchuanTian/AIGC_text_detector 我們在AIGC檢測方面工作的官方代碼：“AI生成文本的多尺度陽性-未標記檢測”（ICLR'24 Spotlight）
argilla-io/argilla 以數據為中心的LLM 開發的開源平台。集成人工和模型反饋循環，以實現持續的LLM 優化和監督。
rustformers/llm 用於處理大型語言模型的Rust 庫生態系統- 它建立在用於機器學習的快速、高效的GGML 庫之上。
ymcui/Chinese-LLaMA-Alpaca-2 中文LLaMA-2 & Alpaca-2 大模型二期項目+ 本地CPU/GPU訓練部署(Chinese LLaMA-2 & Alpaca-2 LLMs)
rawandahmad698/PyChatGPT 非官方ChatGPT API 的Python 客戶端，具有自動令牌重新生成、對話跟踪、代理支持等功能。
bionic-gpt/bionic-gpt BionicGPT 是ChatGPT 的本地替代品，提供生成式AI 的優勢，同時保持嚴格的數據機密性。
dandelionsllm/pandallm 海外中文開源大語言模型，基於Llama-7B, -13B, -33B, -65B 進行中文領域上的持續預訓練。
click33/chatgpt---mirror-station-summary 匯總所有chatgpt 鏡像站，免費、付費、多模態、國內外大模型匯總等等持續更新中
CLUEbenchmark/pCLUE 基於提示的大規模預訓練數據集，用於多任務學習和零樣本學習，120萬訓練數據。
jerry1993-tech/Cornucopia-LLaMA-Fin-Chinese 聚寶盆(Cornucopia): 基於中文金融知識的LLaMA微調模型；涉及SFT、RLHF、GPU訓練部署等
Shenzhi-Wang/Llama3-Chinese-Chat 第一個基於Meta-Llama-3-8B-Instruct模型的ORPO專門針對中文進行微調的中文聊天模型。
x-dr/chatgptProxyAPI 使用cloudflare 搭建免費的OpenAI api代理，解決網絡無法訪問問題。支持流式輸出
zhile-io/pandora 潘多拉實現了網頁版ChatGPT 的主要操作。後端優化，繞過Cloudflare，速度喜人。
limaoyi1/Auto-PPT Auto generate pptx using gpt-3.5， Free to use online / 通過gpt-3.5生成PPT，免費在線使用
kazuki-sf/ChatGPT_Extension 非常簡單的Chrome擴展（v3），您可以從網絡上的任何地方訪問OpenAI的ChatGPT。
microsoft/TaskMatrix 連接了ChatGPT和一系列Visual Foundation模型，以便在聊天期間發送和接收圖像。
imaurer/awesome-decentralized-llm LLM資源的集合，可用於構建您可以“擁有”的產品或進行可重複的研究。
HuiMi24/chatppt 由chatgpt提供支持，它可以幫助您生成PPT /幻燈片。它支持英文和中文輸出
0xk1h0/ChatGPT_DAN 越獄提示，巧妙的解決方法，使我們能夠充分利用ChatGPT 的全部潛力。
microsoft/generative-ai-for-beginners 一門12 節課的課程，教授開始構建生成式AI 應用程序所需的一切知識
salesforce/DialogStudio 為對話式AI 提供最豐富、最多樣化的統一數據集集合和指令感知模型
sindresorhus/awesome-chatgpt 基於ChatGPT 開發的應用的列表— 由OpenAI 開發的人工智能聊天機器人
pytorch-labs/gpt-fast 在python 的<1000 LOC 中簡單高效地生成pytorch-native transformer 文本。
locuslab/wanda 一種簡單有效的大型語言模型修剪方法（按權重和激活進行修剪）
openai-php/client 由社區維護的增強型PHP API 客戶端，允許您與OpenAI API 進行交互。
luban-agi/Awesome-Domain-LLM 本項目旨在收集和梳理垂直領域的開源模型、數據集及評測基準。
liady/ChatGPT-pdf 用於將ChatGPT 歷史下載為PNG、PDF 或創建可共享鏈接的Chrome 擴展
openlm-research/open_llama 一個在RedPajama數據集上訓練的Meta AI的LLaMA 7B的許可開源複製品。
PlexPt/chatgpt-corpus ChatGPT 中文語料庫對話語料小說語料客服語料用於訓練大模型
yaodongC/awesome-instruction-dataset 用於訓練指令遵循LLM 的開源數據集集合（ChatGPT、LLaMA、Alpaca）
langchain4j/langchain4j Java版LangChain，簡化將AI/LLM功能集成到Java 應用程序中的過程。
NVIDIA/GenerativeAIExamples 針對加速基礎架構和微服務架構優化的生成式AI 參考工作流。
steven-tey/novel Notion風格的所見即所得編輯器，具有AI 驅動的自動完成功能。
TheoKanning/openai-java 用於使用OpenAI 的GPT API 的Java 庫。支持GPT-3、ChatGPT 和GPT-4。
xtekky/gpt4free 免費使用GPT4模型typescript版本
missuo/FreeGPT35 利用免登錄ChatGPT Web 提供的無限制免費GPT-3.5-Turbo API 服務。
jackaduma/awesome_LLMs_interview_notes 主要記錄大模型（LLMs）算法工程師相關的面試題和參考答案
josStorer/chatGPTBox 將ChatGPT 深度集成到您的瀏覽器中，您需要的一切都在這裡
skydoves/chatgpt-android 在Android 上使用Stream Chat SDK for Compose 演示OpenAI 的ChatGPT。
xiangsx/gpt4free-ts 提供免費的OpenAI GPT-4 API！這是xtekky/gpt4free 版本的複制項目
taishi-i/awesome-ChatGPT-repositories 專門用於與ChatGPT 相關的開源GitHub 存儲庫的精選資源列表
visual-openllm/visual-openllm 文心一言的開源版，基於ChatGLM + Visual ChatGPT + Stable Diffusion
voidful/awesome-chatgpt-dataset 釋放LLM 的力量：探索這些數據集來訓練你自己的ChatGPT！
msoedov/langcorn 使用FastAPI 自動為LangChain LLM 應用程序和代理提供服務。
qunash/chatgpt-advanced 一種瀏覽器擴展，可通過網絡結果增強您的ChatGPT 提示。
Timothyxxx/Chain-of-ThoughtsPapers 大型語言模型中的思維鏈促使引出推理。思想鏈論文集合
catqaq/ChatPiXiu 開源chatgpt替代方案/實現的調查，複製和領域/任務適應。
jtsang4/claude-to-chatgpt 將Anthropic 的Claude 模型的API 轉換為OpenAI Chat API 格式。
FlagAlpha/Llama2-Chinese Llama中文社區，最好的中文Llama大模型，完全開源可商用
chtmp223/topicGPT 通過提示大型語言模型進行主題建模”的腳本和提示。
SciSharp/LLamaSharp 可在本地設備上高效運行LLM的C#/.NET 庫（LLaMA/LLaVA）。
thunlp/UltraChat 大規模、信息豐富、多樣化的多輪聊天數據（和模型）
llm-workflow-engine/llm-workflow-engine 適用於LLM 的命令行工具和工作流管理器（核心包）
BlinkDL/ChatRWKV 使用RWKV語言模型（100%RNN）的類ChatGPT開源聊天模型。
princeton-nlp/tree-of-thought-llm 正式實現“思想之樹：用大語言模型刻意解決問題”
iguodongiot/llm-action 本項目旨在分享大模型相關技術原理以及實戰經驗。
michael-wzhu/Chinese-LlaMA2 META最新發布的LlaMA2的漢化版！ （完全開源可商用）
zilliztech/GPTCache LLM 的語義緩存。 與LangChain 和llama_index 完全集成。
llmware-ai/llmware 提供基於企業級LLM的開發框架、工具和微調模型。
jaymody/picoGPT NumPy實現的一個不必要的微小的GPT-2。40 行代碼。
SJTU-IPADS/PowerInfer 在具有消費級GPU 的PC 上提供高速大型語言模型
AprilNEA/ChatGPT-Admin-Web 在團隊和組織內共享使用AI的一站式解決方案。
eon01/awesome-chatgpt 精選的ChatGPT 資源列表，包括庫、SDK、API 等。
tmc/langchaingo LangChain for Go，Go 編寫基於LLM程序的最簡單方法
Facico/Chinese-Vicuna 一個中文低資源的llama+lora方案，結構參考alpaca
lmstudio-ai/model-catalog 大型語言模型文件的標準化JSON 描述符集合。
AI4Finance-Foundation/FinGPT 以數據為中心的FinGPT。開源開放金融！革新
WangRongsheng/awesome-LLM-resourses 全世界最好的大語言模型資源匯總持續更新
openai/openai-quickstart-node OpenAI API 快速入門教程中的Node.js示例應用。
cesarhuret/docGPT ChatGPT 直接在Google Docs 中作為編輯器的插件
domeccleston/sharegpt 輕鬆與您的朋友分享ChatGPT 對話的永久鏈接
DAMO-NLP-SG/LLM-Zoo 本項目收集了以下各種開源和閉源LLM的信息
OpenBMB/BMList 希望使用此列表來顯示大模型的最新趨勢。
XueFuzhao/OpenMoE 一系列開源專家混合（MoE） 大型語言模型
shawwn/llama-dl 高速下載LLaMA，Facebook 的65B 參數GPT 模型
ntunlplab/traditional-chinese-alpaca 基於羊駝數據集的繁體中文指令數據集。
elyase/awesome-gpt3 關於OpenAI GPT-3 API 的演示和文章的集合。
RUCAIBox/LLMSurvey 與大型語言模型相關的論文和資源集合。
Licoy/ChatGPT-Midjourney 一鍵擁有自己的ChatGPT+Midjourney 網頁服務
wong2/chatgpt-google-extension 瀏覽器擴展，用ChatGPT增強搜索引擎效果
chenking2020/FindTheChatGPTer ChatGPT/GPT4開源“平替”匯總，持續更新
platelminto/chatgpt-conversation 用你的聲音與ChatGPT 對話，讓它回話。
acheong08/Bard Google 的Bard 聊天機器人API 的逆向工程
ikaijua/Awesome-AITools 收藏AI相關的實用工具，大型語言模型
sashabaranov/go-openai 為OpenAI API 提供了非官方的Go 客戶端
humanloop/awesome-chatgpt ChatGPT和GPT-3的驚人工具、演示和文檔
yihong0618/xiaogpt 使用小米AI揚聲器播放ChatGPT和其他LLM
wasiahmad/Awesome-LLM-Synthetic-Data 基於LLM 的綜合數據生成的閱讀清單
terry3041/pyChatGPT OpenAI的ChatGPT API的非官方Python包裝器
archiki/ADaPT 使用語言模型進行按需分解和規劃
openai/openai-node OpenAI API 的官方Node.js / Typescript 庫
saharmor/awesome-chatgpt 精選的ChatGPT 演示、工具、文章等
abielzulio/chatgpt-raycast ChatGPT raycast(Mac的快捷啟動器) 擴展
rasbt/LLMs-from-scratch 從頭開始逐步實現類似ChatGPT的LLM
transitive-bullshit/chatgpt-api OpenAI提供的ChatGPT的Node.js包裝器。
ddiu8081/chatgpt-demo 基於OpenAI GPT-3.5 Turbo API 的demo。
pengxiao-song/LaWGPT 基於中文法律知識的大語言模型
xtekky/chatgpt-clone 具有更好用戶界面的聊天GPT界面
eugeneyan/open-llms 可用於商業用途的開放LLM列表。
nichtdax/awesome-totally-open-chatgpt ChatGPT 的完全開放的替代品列表
facebookresearch/llama-recipes facebook LLaMA 模型的示例和手冊
juncongmoo/pyllama LLaMA - 在單個4GB GPU 中運行LLM
wgwang/LLMs-In-China 旨在記錄中國大模型發展情況
wangrui6/Zhihu-KOL 用於訓練開放助手的知乎數據
fuergaosi233/wechat-chatgpt 通過微信在微信上使用ChatGPT
acheong08/EdgeGPT 微軟必應聊天的逆向工程API
openai/openai-cookbook 使用OpenAI API 的示例和指南
liaokongVFX/LangChain-Chinese-Getting-Started-Guide LangChain 的中文入門教程
terror/chatgpt.nvim 在Neovim 中查詢ChatGPT
gptshunter.com 發現GPTs 項目的商店
acheong08/ChatGPT 逆向工程ChatGPT 的API
EwingYangs/awesome-open-gpt GPT相關開源項目合集
dalinvip/Awesome-ChatGPT ChatGPT資料匯總學習
aurorax-neo/free-gpt3.5-2api 免費chat GPT API
ai4finance-foundation/finrobot 用於金融應用程序的開源AI 代理平台，使用LLMs。 FinRobot 是一個超越FinGPT 範圍的AI 代理平台，代表了為金融應用精心設計的綜合解決方案。它集成了各種各樣的人工智能技術，超越了單純的語言模型。這一廣闊的願景凸顯了該平台的多功能性和適應性，滿足了金融業的多方面需求。 FinRobot的整體框架分為四個不同的層，每個層都旨在解決金融AI處理和應用的特定方面：1.金融AI 代理層：金融AI 代理層現在包括金融思維鏈（CoT） 提示，增強了複雜的分析和決策能力；市場預測代理、文檔分析代理和交易策略代理利用CoT 將金融挑戰分解為邏輯步驟，將其先進的算法和領域專業知識與金融市場不斷變化的動態相結合，以獲得準確、可操作的見解。 2.金融LLMs算法層：金融LLMs算法層配置並利用針對特定領域和全球市場分析量身定制的特別調整模型。 3.LLMOps 和DataOps 層：LLMOps 層實施了多源集成策略，利用一系列最先進的模型，選擇LLMs最適合特定財務任務的。 4.多源LLM基礎模型層：此基礎層支持各種通用和專用LLMs的即插即用功能。 FinRobot：座席工作流程。 1.感知：該模塊從市場提要、新聞和經濟指標中捕獲和解釋多模式財務數據，使用複雜的技術來構建數據以進行徹底分析。 2.大腦：作為核心處理單元，該模塊使用LLMs並利用金融思維鏈（CoT） 流程感知來自感知模塊的數據，以生成結構化指令。 3.操作：該模塊執行來自大腦模塊的指令，應用工具將分析見解轉化為可操作的結果;行動包括交易、投資組合調整、生成報告或發送警報，從而積極影響金融環境。 FinRobot：智能调度程序.確保模型多樣性和優化集成和選擇LLM最適合每個任務的核心。 Director Agent：此組件協調任務分配過程，確保根據任務的性能指標和對特定任務的適用性將任務分配給代理。代理註冊：管理註冊並跟踪系統內代理的可用性，促進高效的任務分配過程。 Agent Adaptor：根據特定任務定制代理功能，增強其性能並在整個系統中集成。任務管理器：管理和存儲為各種財務任務量身定制的不同通用和基於微調LLMs的代理，定期更新以確保相關性和有效性。
microsoft/autogen 支持使用多個代理開發LLM應用程序，這些代理可以相互交談以解決任務。 AutoGen 代理是可定制的、可對話的，並且無縫地允許人工參與。它們可以在各種模式下運行，這些模式採用LLM，人力輸入和工具的組合。 AutoGen 是一個用於構建人工智能代理系統的開源框架。它簡化了事件驅動、分佈式、可擴展和彈性代理應用程序的創建。它允許您快速構建人工智能代理協作並自主或在人工監督下執行任務的系統。 AutoGen 簡化了AI 開發和研究，支持使用多種大型語言模型( LLMs )、集成工具和先進的多智能體設計模式。您可以在本地開發和測試代理系統，然後根據需求的增長部署到分佈式雲環境。 AutoGen 提供以下主要功能： 異步消息傳遞：代理通過異步消息進行通信，支持事件驅動和請求/響應交互模式。 完整類型支持：在所有接口中使用類型並在構建時強制進行類型檢查，重點關注質量和內聚性可擴展和分佈式：設計可以跨組織邊界運行的複雜的分佈式代理網絡。 模塊化和可擴展：使用可插入組件自定義您的系統：自定義代理、工具、內存和模型。 跨語言支持：跨不同編程語言互操作代理。目前支持Python 和.NET，即將推出更多語言。 可觀測性和調試：用於跟踪、追踪和調試代理交互和工作流程的內置功能和工具，包括通過OpenTelemetry 對行業標準可觀測性的支持。 AutoGen 有多個軟件包，並且構建在分層架構之上。目前，您的應用程序可以定位三個主要API：Core 核、AgentChat 代理聊天、Extensions 擴展。 AutoGen 的核心API autogen-core是按照actor 模型構建的。它支持代理和基於事件的工作流程之間的異步消息傳遞。核心層中的代理使用直接消息傳遞（其功能類似於RPC）或通過廣播到主題（即發布-訂閱）來處理和生成類型化消息。代理可以分佈並用不同的編程語言實現，同時仍然可以相互通信。如果您正在構建可擴展的事件驅動代理系統，請從這裡開始。
OpenBMB/XAgent XAgent 是一個開源實驗性大型語言模型（LLM） 驅動的自治代理，可以自動解決各種任務。它被設計為可應用於各種任務的通用代理。目標是創建一個可以解決任何給定任務的超級智能代理！具有以下功能：自主性：XAgent可以在沒有人類參與的情況下自動解決各種任務。安全：XAgent旨在安全運行。所有操作都約束在docker 容器內。可扩展性：XAgent 被設計為可擴展的。您可以輕鬆添加新工具來增強代理的能力，甚至是新代理！ GUI ：友好的GUI 來與代理交互。還可以使用命令行與代理進行交互。与人类合作：可以與您合作處理任務。它不僅能夠在旅途中按照您的指導解決複雜的任務，而且在遇到挑戰時還可以尋求您的幫助。 XAgent由三部分組成：调度程序負責動態實例化任務並將其調度給不同的代理。它允許我們添加新代理並提高代理的能力。計劃員負責生成和糾正任務計劃。它將任務劃分為子任務並為其生成里程碑，允許代理逐步解決任務。参与者負責執行操作以實現目標並完成子任務。參與者利用各種工具解決子任務，也可以與人類協作解決任務。 ToolServer 是為XAgent 提供強大而安全的工具來解決任務的服務器。它是一個docker 容器。提供以下工具：文件编辑器提供了一個文本編輯工具來寫入、讀取和修改文件。 Python Notebook提供了一個交互式Python筆記本，可以運行Python代碼來驗證想法，繪製圖形等。网络浏览器提供用於搜索和訪問網頁的網頁瀏覽器。 Shell提供了一個bash shell 工具，可以執行任何shell 命令，甚至可以安裝程序和主機服務。 Rapid API提供了一個從Rapid API 檢索API 並調用它們的工具，它提供了廣泛的API 供XAgent 使用。還可以輕鬆地將新工具添加到ToolServer，以增強XAgent的能力。
langgenius/dify 開源助手API 和GPT 的替代方案。 Dify.AI 是一個LLM 應用程序開發平台。它集成了後端即服務和LLMOps 的概念，涵蓋了構建生成式AI 原生應用程序所需的核心技術堆棧，包括內置的RAG 引擎。其直觀的界面結合了AI 工作流程、RAG 管道、代理功能、模型管理、可觀測性功能等，讓您快速從原型到生產。以下是核心功能列表：1. 工作流：利用以下所有功能及其他功能，在可視化畫布上構建和測試強大的AI 工作流。 2. 全面的模型支持：與LLMs來自數十家推理提供商和自託管解決方案的數百個專有/開源無縫集成，涵蓋GPT、Mistral、Llama3 和任何兼容OpenAI API 的模型。可以在此處找到受支持的模型提供程序的完整列表。 3. 提示IDE：直觀的界面，用於製作提示、比較模型性能以及向基於聊天的應用程序添加文本轉語音等附加功能。 4. RAG Pipeline：廣泛的RAG 功能，涵蓋從文檔攝取到檢索的所有內容，開箱即用地支持從PDF、PPT 和其他常見文檔格式中提取文本。 5. 代理能力：您可以基於LLM函數調用或ReAct 定義代理，並為代理添加預建或自定義工具。 Dify 為AI 代理提供50+ 內置工具，如Google Search、DELL·E， Stable Diffusion 和WolframAlpha.6. LLMOps：監控和分析應用程序日誌和性能隨時間的變化。您可以根據生產數據和註釋不斷改進提示、數據集和模型。 7. 後端即服務：Dify 的所有產品都帶有相應的API，因此您可以毫不費力地將Dify 集成到您自己的業務邏輯中。
codelion/optillm optillm 是一個兼容OpenAI API 的優化推理代理，它實現了多種最先進的技術，可以提高LLMs的準確性和性能。當前的重點是實施改進編碼推理、邏輯和數學查詢的技術。通過在推理時進行額外的計算，可以在不同的任務中使用這些技術來擊敗前沿模型。實施的技術：CoT with Reflection 帶有反射的CoT，使用<thinking>、<reflection> 和<output> 部分實現思想鏈推理；PlanSearch 計劃搜索，對候選計劃實施搜索算法以解決自然語言問題；ReRead 重讀，通過兩次處理查詢來實現重讀以提高推理能力；Self-Consistency 自我一致性，實施先進的自洽方法；Z3 Solver Z3 解算器，利用Z3 定理證明器進行邏輯推理；R* Algorithm R算法，實現R算法來解決問題；LEAP，從幾個示例中學習特定於任務的原則；Round Trip Optimization 往返優化，通過往返流程優化響應；Best of N Sampling 最佳N 採樣，生成多個響應並選擇最佳的一個；Mixture of Agents 混合多個代理，結合多種批評的回應；Monte Carlo Tree Search 蒙特卡羅樹搜索，使用MCTS 在聊天響應中進行決策；prover-verifier game approach 證明者-驗證者遊戲（Prover-Verifier Games），在推理時應用證明者-驗證者博弈方法；CoT Decoding CoT 解碼，實現思路鏈解碼以在沒有明確提示的情況下引發推理；Entropy Decoding 熵解碼，根據代幣生成過程中的不確定性實現自適應採樣。
ComposioHQ/composio Composio為您的AI代理和LLMs100+高質量的函數調用集成。適用於AI 代理的生產就緒工具集。為您的代理配備高質量的工具和集成，而無需擔心身份驗證、準確性和可靠性，只需一行代碼即可完成！主要特點：100+ 工具，支持一系列不同的類別：軟件（在GitHub、Notion、Linear、Gmail、Slack、Hubspot、Salesforce等90多個網站上做任何事情）、操作系統（點擊任意位置，輸入任何內容，複製到剪貼板等等）、瀏覽器（智能搜索、截屏、MultiOn、下載、上傳等）、搜索（Google搜索，Perplexity搜索，Tavily，Exa等）、軟件（Ngrok、Database、Redis、Vercel、Git 等）、RAG（代理RAG 可即時處理任何類型的數據）。框架：在一行代碼中將工具與OpenAI、Claude、LlamaIndex、Langchain、CrewAI、Autogen、Gemini、Julep、Lyzr 等代理框架一起使用。託管授權：支持六種不同的身份驗證協議。將訪問令牌、刷新令牌、OAuth、API 密鑰、JWT 等抽像出來，以便您可以專注於構建代理。準確性：由於更好的工具設計，您的工具調用的代理準確性提高了40%。可嵌入：在您的應用程序的後端進行白標化，為您的所有用戶和代理管理身份驗證和集成，並保持一致的體驗。可插拔：旨在非常輕鬆地使用其他工具、框架和授權協議進行擴展。
openai/swarm 探索符合人體工程學的輕量級多代理編排的教育框架。由OpenAI 解決方案團隊管理。 Swarm 目前是一個實驗性示例框架，旨在探索多智能體系統的人體工程學界面。它不打算用於生產，因此沒有官方支持。這也意味著我們不會審查PR 或問題！ Swarm的主要目標是展示在《編排代理人：交接和例程》食譜中探索的交接和例程模式。它不是一個獨立的庫，主要用於教育目的。 Swarm 專注於使代理協調和執行輕量級、高度可控且易於測試。它通過兩個原始抽象來實現這一點：Agents 和handoffs。 Agent 包含說明和工具，並且可以隨時選擇將對話移交給另一個Agent 。這些原語足夠強大，可以表達工具和代理網絡之間的豐富動態，使您能夠構建可擴展的真實解決方案，同時避免陡峭的學習曲線。 Swarm 探索輕量級、可擴展且高度可定制的模式。類似於Swarm 的方法最適合處理大量難以編碼為單個提示的獨立功能和指令的情況。對於尋求完全託管線程和內置內存管理和檢索的開發人員來說，Assistants API 是一個不錯的選擇。但是，Swarm 是一種教育資源，適用於有興趣了解多代理編排的開發人員。 Swarm （幾乎）完全在客戶端上運行，並且與Chat Completions API 非常相似，它不會在調用之間存儲狀態。
langchain-ai/langgraph 將語言代理構建為圖形。 LangGraph 是一個庫，用於構建有狀態的多參與者應用程序，用於LLMs創建代理和多代理工作流。與其他LLM框架相比，它提供了以下核心優勢：週期、可控性和持久性。 LangGraph 允許您定義涉及週期的流程，這對於大多數代理架構來說是必不可少的，並將其與基於DAG 的解決方案區分開來。作為一個非常低級的框架，它提供了對應用程序的流和狀態的細粒度控制，這對於創建可靠的代理至關重要。此外，LangGraph 還包含內置的持久性，可實現高級的人機交互和內存功能。 LangGraph 的靈感來自Pregel 和Apache Beam。公共接口的靈感來自NetworkX。 LangGraph 由LangChain 的創建者LangChain Inc 構建，但可以在沒有LangChain 的情況下使用。主要特點：循環和分支：在應用中實現循環和條件。持久性：在圖表中的每一步後自動保存狀態，隨時暫停和恢復圖形執行，以支持錯誤恢復、人機交互工作流、時間旅行等。 Human-in-the-Loop：中斷圖形執行以批准或編輯代理計劃的下一個操作。流式處理支持：流式傳輸每個節點產生的輸出（包括令牌流式處理）。與LangChain集成：LangGraph與LangChain和LangSmith無縫集成（但不需要它們）。
filip-michalsky/SalesGPT 情境感知AI 銷售代理，可自動執行銷售推廣。此存儲庫是用於銷售的上下文感知AI 代理的實現，可以使用LLMs語音、電子郵件和文本（短信、WhatsApp、微信、微博、Telegram 等）工作。 SalesGPT 具有上下文感知能力，這意味著它可以理解自己處於銷售對話的哪個階段，並採取相應的行動。此外，SalesGPT 可以使用工具，例如您自己的預定義產品知識庫，從而顯著減少幻覺。 AI 銷售代理了解對話階段（您可以根據自己的需求定義自己的階段）：簡介：通過介紹您自己和您的公司來開始對話。資格： 通過確認他們是否是與您的產品/服務交談的合適人選來對潛在客戶進行資格審查。價值主張：簡要說明您的產品/服務如何使潛在客戶受益。需求分析：提出開放式問題，以揭示潛在客戶的需求和痛點。解決方案展示： 根據潛在客戶的需求，將您的產品/服務作為可以解決他們痛點的解決方案展示。異議處理：解決潛在客戶可能對您的產品/服務提出的任何異議。關閉：通過提出下一步來要求出售。結束對話：用戶不想繼續對話，因此結束通話。
crewAIInc/crewAI 用於編排角色扮演、自主AI 代理的尖端框架。通過培養協作智能，CrewAI 使座席能夠無縫協作，處理複雜的任務。 CrewAI 旨在使AI 代理能夠承擔角色、共享目標並在一個有凝聚力的單位中運作- 就像一個運轉良好的船員一樣。無論您是在構建智能助手平台、自動化客戶服務集成還是多代理研究團隊，CrewAI 都可以為複雜的多代理交互提供支柱。主要特點：基於角色的代理設計：使用特定角色、目標和工具自定義代理。自主代理間委派：代理可以自主委派任務並相互查詢，從而提高解決問題的效率。靈活的任務管理：使用可自定義的工具定義任務並將其動態分配給代理。流程驅動：目前僅支持順序任務執行和分層流程，但更複雜的流程（如共識和自主）。將輸出另存為文件：將單個任務的輸出另存為文件，以便以後使用。將輸出解析為Pydantic 或Json：如果需要，可以將單個任務的輸出解析為Pydantic 模型或Json。使用開源模型：使用Open AI 或開源模型運行crewAI
InternLM/Agent-FLAN 開源大型語言模型（ LLMs ）在各種NLP 任務中取得了巨大成功，但在充當代理時，它們仍然遠遠不如基於API 的模型。如何將代理能力融入到普通LLMs中成為一個至關重要而緊迫的問題。本文首先提出了三個關鍵觀察結果：（1）當前的智能體訓練語料庫與格式遵循和智能體推理糾纏在一起，這與預訓練數據的分佈發生了顯著的變化； (2) LLMs對代理任務所需的能力表現出不同的學習速度； (3)當前的方法在通過引入幻覺來提高代理能力時存在副作用。基於上述發現，我們提出Agent-FLAN 來有效地微調Agent 的語言模型。通過對訓練語料庫的仔細分解和重新設計，Agent-FLAN 使Llama2-7B 在各種代理評估數據集上的表現比之前的最佳作品高出3.5%。通過全面構建負樣本，Agent-FLAN 根據我們建立的評估基準極大地緩解了幻覺問題。此外，它在擴展模型大小時持續提高了LLMs的代理能力，同時略微增強了LLMs的一般能力。
MineDojo/Voyager 航海家：具有大型語言模型的開放式具身代理。是Minecraft 中第一個由LLM 驅動的體現的終身學習代理，它不斷探索世界，獲得各種技能，並在沒有人為乾預下做出新的發現。由三個組件組成：1）最大化探索的自動課程，2）不斷增長的可執行代碼技能庫，用於存儲和檢索複雜行為，以及3）新的迭代提示機制，其中包含環境反饋，執行錯誤和自我驗證以改進程序。 Voyager通過黑盒查詢與GPT-4交互，這繞過了模型參數微調。從經驗上講，Voyager表現出強大的上下文終身學習能力，並在玩Minecraft方面表現出非凡的熟練程度。它獲得的獨特物品增加了3.3×，旅行距離延長了2.3×，解鎖關鍵科技樹里程碑的速度比之前的SOTA 快了15.3×。 Voyager能夠利用在新的Minecraft中學到的技能庫從頭開始解決新任務，而其他技術則難以概括。
modelscope/modelscope-agent 開源版GPTs，將ModelScope中的模型與世界連接起來的智能體框架。單個代理具有角色扮演、呼叫、LLM工具使用、計劃和記憶等能力。它主要具有以下特點：簡單的代理實現過程：只需指定角色指令、LLM名稱和工具名稱列表即可實現代理應用程序。該框架會自動安排工具使用、規劃和內存的工作流。豐富的模型和工具：框架配備了豐富的LLM接口，如Dashscope和Modelscope模型接口、OpenAI模型接口等。內置豐富的工具，如代碼解釋器、天氣查詢、文本到圖像、網頁瀏覽等，可以輕鬆定制專屬代理。接口統一，擴展性高：框架具有清晰的工具和LLM註冊機制，方便用戶擴展更多樣化的Agent應用。低耦合：開發人員可以輕鬆使用內置工具、LLM內存和其他組件，而無需綁定更高級別的代理。
modelscope/MemoryScope MemoryScope是一個為LLM 聊天機器人提供強大靈活的長期記憶系統的框架，它可以應用於個人助理和情感伴侶等場景，通過長期記憶持續學習，記住用戶的基本信息以及各種習慣和偏好，讓用戶在使用LLM 時逐漸體驗到“理解”的感覺。該項目使用向量數據庫（默認使用ElasticSearch）存儲所有記憶片段，並將長期記憶的能力原子化為多個獨立的worker，包括用於查詢信息過濾、觀察提取和洞察更新等任務的20 多個worker。 MemoryScope 提供了基於worker 管道的記憶服務操作，包括記憶檢索、記憶整合、反思和重新整合等功能，並提供了對話接口（API）和命令行對話實踐（CLI）來實現長期記憶功能，並與AutoGen 和AgentScope 等流行的代理框架相結合，提供最佳實踐。
baptisteArno/typebot.io Typebot 是一個強大的聊天機器人構建器，您可以自行託管。它允許您直觀地創建高級聊天機器人，將它們嵌入到您的網絡/移動應用程序上的任何位置，並實時收集結果。 Typebot 使創建高級聊天機器人變得容易。它提供了適用於任何業務用例的構建塊。我會定期通過錯誤修復、新功能和性能改進來改進Typebot。具有34+ 構建塊的聊天構建器，例如： 氣泡：文本、圖像/GIF、視頻、音頻、嵌入； 輸入：文本、電子郵件、電話號碼、按鈕、圖片選擇、日期選擇器、付款（Stripe）、文件選擇器......輸入；邏輯：條件分支、URL 重定向、腳本（Javascript）、A/B 測試；集成：Webhook / HTTP 請求、OpenAI、Google 表格、Google Analytics、Meta Pixel、Zapier、Make.com、Chatwoot、更多
phidatahq/phidata 使用內存、知識和工具構建AI 助手。 Phidata 是一個用於構建自主助手（又名代理）的框架，這些助手具有長期記憶、上下文知識和使用函數調用採取行動的能力。使用phidata 將任何LLM內容變成AI 助手，它可以：使用DuckDuckGo、Google 等搜索網絡。使用SQL、DuckDb 等分析數據。進行研究並生成報告。回答來自PDF、API 等的問題。為電影、書籍等編寫劇本。總結文章、視頻等。執行發送電子郵件、查詢數據庫等任務。利用內存、知識和工具進行擴展LLMs：記憶：將聊天記錄存儲在數據庫中，LLMs並允許進行長期對話。知識：將信息存儲在矢量數據庫中，並提供LLMs業務上下文。工具：啟用此選項LLMs可執行從API 拉取數據、發送電子郵件或查詢數據庫等操作。
ctlllll/LLM-ToolMaker LLM-ToolMaker是一個將大型語言模型（LLM）作為工具製造者的框架，旨在通過讓LLM創建可重複使用的工具來增強其解決問題的能力。該框架分為兩個階段：工具製作和工具使用。工具製作階段由一個強大的LLM負責，它從少量示例中創建通用的Python工具函數。工具使用階段則由一個更輕量級的LLM負責，它使用這些工具來解決各種問題。該框架的優勢在於，它可以將工具製作和工具使用分開，從而實現成本效益，同時保持工具質量和解決問題的能力。例如，可以使用強大的GPT-4作為工具製造者，使用更輕量級的GPT-3.5作為工具使用者，從而在保持性能的同時降低推理成本。該框架在各種複雜推理任務中得到了驗證，包括Big-Bench任務。
datawhalechina/llm-universe 面向小白開發者的大模型應用開發教程。主要內容包括：大模型簡介，何為大模型、大模型特點是什麼、LangChain 是什麼，如何開發一個LLM 應用，針對小白開發者的簡單介紹；如何調用大模型API，本節介紹了國內外知名大模型產品API 的多種調用方式，包括調用原生API、封裝為LangChain LLM、封裝為Fastapi 等調用方式，同時將包括百度文心、訊飛星火、智譜AI等多種大模型API 進行了統一形式封裝；知識庫搭建，不同類型知識庫文檔的加載、處理，向量數據庫的搭建；構建RAG 應用，包括將LLM 接入到LangChain 構建檢索問答鏈，使用Streamlit 進行應用部署；驗證迭代，大模型開發如何實現驗證迭代，一般的評估方法有什麼。
togethercomputer/MoA Together Mixture-of-Agents (MoA) 是一種利用多個大型語言模型(LLM) 的集體優勢來提高性能的新方法，在AlpacaEval 2.0上取得了最先進的結果。通過採用分層架構，其中每一層包含多個LLM 代理，MoA 使用僅開源模型，顯著優於GPT-4 Omni 的57.5% 的得分，達到了65.1% 的得分。該項目提供了一個簡單的50 行代碼示例，展示瞭如何使用MoA，以及一個更高級的示例，展示瞭如何使用多層MoA。此外，該項目還提供了一個交互式命令行界面(CLI) 演示，展示了一個簡單的多輪聊天機器人，其中最終響應來自各種參考模型的聚合。用戶可以通過輸入指令與聊天機器人進行交互，並獲得基於多個模型的聚合響應。
microsoft/UFO 用於Windows 操作系統交互的以UI 為中心的代理。 UFO 是一個以UI 為中心的多代理框架，通過在單個或跨多個應用程序中無縫導航和操作來滿足Windows 操作系統上的用戶請求。 UFO作為一個多智能體框架運行，包括：HostAgent 任務是選擇一個應用程序來滿足用戶請求，當請求跨越多個應用程序，並且任務在前一個應用程序中部分完成時，此代理也可能切換到不同的應用程序；AppAgent 負責在選定的應用程序上迭代執行操作，直到在特定應用程序中成功完成任務；Application Automator 的任務是將HostAgent 和AppAgent 的操作轉換為與應用程序的交互，並通過UI 控件、本機API 或AI 工具進行交互。
langchain-ai/opengpts 創建與OpenAI 的GPT 和助手API 類似的體驗。它由LangGraph 提供支持- 一個用於創建代理運行時的框架。它還建立在LangChain、LangServe和LangSmith之上。 OpenGPT 為您提供更多控制權，允許您配置：您使用的（LLM在LangChain提供的60+之間選擇）；您使用的提示（使用LangSmith 調試這些提示）；您給它的工具（從LangChain的100+工具中選擇，或輕鬆編寫自己的工具）；您使用的向量數據庫（從LangChain的60+向量數據庫集成中選擇）；您使用的檢索算法；您使用的聊天記錄數據庫。最重要的是，它使您可以完全控制應用程序的認知架構。目前，已實現三種不同的架構：助理、RAG、聊天機器人。
idootop/mi-gpt 將小愛音箱接入ChatGPT 和豆包，改造成你的專屬語音助手。 MiGPT 通過將小愛音箱、米家智能設備，與ChatGPT 的理解能力完美融合，讓你的智能家居更懂你。 MiGPT 不僅僅是關於設備自動化，而是關於：打造一個懂你、有溫度、與你共同進化的家。未來，你的每個智能家居設備，從燈泡、插座，到掃地機器人、電視等，都可以作為一個個獨立的智能體(Agent)，更智能、更貼心的響應你的指令。這些獨立的智能體，也可以彼此感知，彼此配合，構成一個更強大的協作網絡。而小愛音箱就像是你的智能家居專屬管家，全心全意為你服務，釋放智能家居的真正潛力。
suitedaces/computer-agent Grunty是一個自託管的桌面應用程序，利用Anthropic 的Claude 的計算機使用功能來控制你的電腦。它允許Claude 接管你的筆記本電腦並為你完成任務（至少嘗試，哈哈）。 Grunty 使用Python 和PyQt 編寫，可以讓你在任何可以運行Python 的平台上使用，例如MacOS、Windows和Linux。你只需獲得一個Anthropic API 密鑰，安裝依賴項，並運行程序。 Grunty 提供了方便的快捷鍵，例如Ctrl+Enter 執行指令、Ctrl+C 停止當前操作、Ctrl+W 最小化到系統托盤和Ctrl+Q 退出應用程序。需要注意的是，Grunty 仍然處於實驗階段，可能會出現錯誤，因此請謹慎使用，並始終監控代理的操作。
LogiTorch/logitorch LogiTorch是一個基於PyTorch的自然語言邏輯推理庫，它包含文本邏輯推理數據集、不同邏輯推理神經網絡架構的實現以及一個與PyTorch Lightning兼容的簡單易用的API。該庫支持多種數據集，包括AR-LSAT、ConTRoL、LogiQA、ReClor、RuleTaker、ProofWriter、SNLI、MultiNLI、RTE、Negated SNLI、Negated MultiNLI、Negated RTE、PARARULES Plus、AbductionRules、FOLIO、FLD、LogiQA2.0、LogiQA2.0 NLI、HELP、SimpleLogic、RobustLR、LogicNLI等。同時，LogiTorch還實現了多種模型，包括RuleTaker、ProofWriter、BERTNOT、PRover、FLDProver、TINA、FaiRR、LReasoner、DAGN、Focal Reasoner、AdaLoGN、Logiformer、LogiGAN、MERit、APOLLO、LAMBADA等。
SylphAI-Inc/AdalFlow AdalFlow：構建和自動優化任何LLM任務的庫。 AdalFlow 採用類似於PyTorch 的設計模式，功能強大、輕便、模塊化且健壯。 AdalFlow 提供與模型無關的構建塊來構建LLM 任務管道，範圍從RAG、代理到文本分類和命名實體識別等經典NLP 任務。僅使用手動提示很容易獲得高性能。 AdalFlow 為零樣本提示優化和少數樣本優化提供了一個統一的自動微分框架。它推進了現有的自動優化研究，包括Text-Grad 和DsPy。通過我們的研究，Text-Grad 2.0 和Learn-to-Reason Few-shot In Context Learning AdalFlow Trainer 實現了最高的準確性，同時具有最高的令牌效率。
andrewyng/translation-agent Translation Agent是一個使用反射機制的機器翻譯代理，它利用大型語言模型(LLM)進行翻譯，並通過反思翻譯結果來提出改進建議，最終提升翻譯質量。該項目使用Python 實現，具有高度可定制性，例如可以調整輸出風格、處理習語和專業術語，以及指定目標語言的地區和方言。雖然目前該項目尚不成熟，但它在某些情況下已經可以與商業翻譯系統相媲美，甚至在某些情況下表現更出色。該項目旨在鼓勵更多關於代理翻譯的研究和開發，並提供了一種自動生成訓練數據的機制，以進一步改進傳統機器翻譯算法。
MODSetter/SurfSense SurfSense是一個個人AI 助手，可以幫助你記住你在互聯網上看到的內容，包括社交媒體聊天、日曆邀請、重要郵件、教程、食譜等。它提供跨瀏覽器擴展，讓你輕鬆保存網頁內容，並支持上傳各種文件格式，如PDF、docx、圖片等。 SurfSense 使用先進的RAG 技術，讓你可以通過自然語言與保存的內容進行交互，並獲得引用的答案。它支持本地LLM，例如Ollama，並且可以自託管，價格低廉。 SurfSense 不使用網絡抓取，而是直接從DOM 讀取數據，確保數據的準確性。目前，SurfSense 需要本地設置，並支持Docker 部署。
meta-llama/llama-stack-apps Llama Stack Apps是基於Llama Stack 構建的應用示例，它展示了Llama 3.1及更高版本模型的agentic 能力，例如：分解任務、執行多步推理、使用工具（內置工具如搜索、代碼解釋器或零樣本學習新工具）、通過Llama Guard 等模型提供系統級安全保護。該項目提供了一個Llama Stack 分發，包含運行推理、安全檢查、工具執行（包括代碼執行環境）和模型多步推理循環所需的所有組件。用戶可以通過安裝依賴、啟動Llama Stack 服務器、連接agentic 應用到服務器來開始使用，並使用提供的示例腳本測試agentic 應用。
ucbepic/docetl DocETL是一個用於創建和執行數據處理管道的工具，特別適合處理複雜文檔。它提供了一個低代碼、聲明式的YAML 接口，用於定義基於大型語言模型(LLM) 的複雜數據操作。 DocETL 非常適合需要最大限度地提高複雜任務的正確性和輸出質量的場景，例如語義處理、基於MapReduce 的複雜任務、優化LLM 準確性、處理長文檔以及驗證和自動重試。用戶可以通過DocETL進行對話生成、文本轉語音等操作。安裝DocETL 需要Python 3.10 或更高版本，並需要設置OpenAI API 密鑰。用戶可以通過項目文檔獲取更詳細的信息。
father-bot/chatgpt_telegram_bot 帶有ChatGPT 的Telegram 機器人，基於Python，使用OpenAI 的API。特徵：低延遲回复（通常需要大約3-5 秒）；無請求限制；消息流（觀看演示）；GPT-4 和GPT-4 Turbo 支持；GPT-4 Vision 支持；群聊支持（/help_group_chat獲取說明）；DALLE 2（選擇藝術家模式以生成圖像）；語音消息識別；代碼突出顯示；15 種特殊聊天模式：助理、代碼助理、藝術家、心理學家、埃隆馬斯克等。您可以通過編輯配置/chat_modes.yml輕鬆創建自己的聊天模式；支持ChatGPT API；允許的Telegram 用戶列表；跟踪在OpenAI API 上花費的$ 餘額
LazyAGI/LazyLLM 用於構建多代理應用程序的低代碼開發工具LLMs。它幫助開發人員以非常低的成本創建複雜的AI 應用程序，並實現持續的迭代優化。 LazyLLM 為應用程序構建提供了便捷的工作流程，並為應用程序開發過程的各個階段提供了眾多標準流程和工具。基於LazyLLM 的AI 應用開發流程遵循原型構建-> 數據反饋-> 迭代優化工作流程。這意味著您可以使用LazyLLM 快速構建原型應用程序，然後使用特定於任務的數據分析不良情況，然後在應用程序的關鍵階段迭代算法和微調模型，以逐步提高整體性能。
davidmigloz/langchain_dart LangChain.dart是一個用於構建基於大型語言模型(LLM) 的Dart/Flutter應用程序的框架，它提供了一套現成的組件，用於與語言模型交互，並提供標準接口，將它們鏈接在一起以構建更高級的用例，例如聊天機器人、基於檢索的問答、代理、摘要、翻譯、提取、推薦系統等。 LangChain.dart 的核心模塊包括模型I/O、檢索和代理，並支持使用LangChain 表達式語言(LCEL) 將這些組件組合在一起。 LangChain.dart 的目標是為Dart 和Flutter 生態系統提供一個簡化的LLM 開發框架，以促進LLM 在該生態系統中的應用。
altera-al/project-sid Project Sid是一個多智能體模擬項目，旨在模擬人工智能文明的演化過程。該項目使用PIANO架構，使智能體能夠實時與人類和其他智能體互動，並在多個輸出流中保持一致性。項目在Minecraft環境中進行大規模模擬，評估智能體在文明基准上的表現，這些基準受到人類歷史的啟發。模擬結果表明，智能體能夠實現有意義的進步，例如自主發展專業角色、遵守和改變集體規則以及參與文化和宗教傳播。該項目為大規模社會模擬、代理組織智能以及將人工智能整合到人類文明中開闢了新的途徑。
openbmb/ioa IoA是一個開源的協作式AI代理框架，�
