machine learning curriculum

机器学习课程

机器学习是专门用于使机器从观察数据中学习的人工智能的一个分支，而无需明确编程。

机器学习和AI不一样。机器学习是AI交响曲中的一种仪器，这是AI的组成部分。那么，机器学习或ML到底是什么？这是算法从先前数据中学习以产生行为的能力。 ML正在教学机器，以在他们从未见过的情况下做出决定。

该课程是为了指导您学习机器学习，推荐工具并通过建议媒体遵循的方式来拥抱ML生活方式。我会定期更新它，以保持新鲜感并摆脱过时的内容和弃用的工具。

一般机器学习

研究本节以了解基本概念并发展直觉，然后再进行更深入的研究。

据说，计算机程序可以从经验E中学习一些类别的任务T和绩效测量P如果P的t任务在T中的性能（通过P的任务）可以通过经验E来提高。

• AI的元素一堆简单的课程教授AI和机器学习
• COMS W4995应用机器学习春季2020年春季视频和哥伦比亚大学应用的ML课程的幻灯片。
• fast.ai有用的机器学习课程
• 使用TensorFlow API的机器学习速效课程Google的快节奏，实用的机器学习介绍
• 机器学习的介绍 - 苏格里特·莱恩（Scikit -Learn）（Python）编程学习核心ML概念
• 机器学习：受监督，无监督和加强 - udacity两位教练很有趣
• 机器学习掌握精心仔细布置了某些特定算法的分步指南
• Andrew Ng在Coursera上的专业化建议为那些想知道引擎盖下ML算法细节的人，了解足够的数学以使其危险并在Python中进行编码任务
• ML食谱 - YouTube播放列表非常设计精美的具体可操作内容用于ML介绍
• 机器学习是有趣的第1部分简单的方法，用于非记忆人员的机器学习
• 使用Python的机器学习 - YouTube播放列表
• Andrew Ng的机器学习向往
• 登陆数据工作：该课程是想要专注于找到工作的人们的自以为是且实用的指南。例如，他们建议知道决策树的工作原理已经足够好了，您不需要知道所有模型的工作原理，这是真的！但是，此建议主要用于表格数据。
• 无服务器的机器学习构建自己的机器学习无服务器预测服务
• 有效的MLOP：模型开发通过权重和偏见的自由课程和认证
• Coursera的机器学习和数据科学专业数学课程的数学

图书

• 塞巴斯蒂安·拉斯卡（Sebastian Raschka）与Pytorch和Scikit-Learn的机器学习
• AurélienGéron的第二版与Scikit-Learn，Keras和Tensorflow的动手机器学习是销量最好的书，因为它很棒。
• https://github.com/fastai/fastbook the fastai书籍，以jupyter笔记本出版
• https://www.deeplearningbook.org/ Ian Goodfellow和Yoshua Bengio和Aaron Courville的数学重书
• https://christophm.github.io/interpretable-ml-book/指南，用于使黑匣子模型可解释
• https://themlbook.com/ Andriy Burkov的一百台机器学习书

强化学习

建立一种感知环境的机器，然后选择在任何给定状态下采取的最佳政策（行动）以最大化其预期的长期标量奖励是增强学习的目标。

• Openai旋转这是Openai生产的一种教育资源，它使学习深度强化学习变得更加容易（DEEP RL）。
• 基本的加强学习介绍系列辅助学习（RL）以及全面的分步教程。
• 高级主题：RL 2015（CompM050/Compgi13），作者：David Silver（Alphago背后的人）
• 理查德·S·萨顿（Richard S. Sutton）和安德鲁·G·巴托（Andrew G.
• 深度增强学习：像素的乒乓球
• 讲座10：加强学习 - YouTube
• 调查文件
• 深度强化学习：教程 - Openai
• CS 294：深钢筋学习，2017年春季

深度学习

深度学习是机器学习的一个分支，其中深人造神经网络（DNN）（受神经元在大脑中的工作方式启发的算法）通过结合多个人工神经元的多层来找到原始数据中的模式。随着层次的增加，神经网络学习越来越抽象的概念的能力也是如此。

最简单的DNN是多层感知器（MLP）。

• 深度学习的小书本书是对具有STEM背景的读者的简短介绍，该书最初旨在在电话屏幕上阅读。它是根据非商业创意共享许可证分发的，在公开发行后的一个月下载了接近250'000次。
• 完整的深度学习学习生产水平的深度学习
• 深度学习。在Coursera在Andrew Ng教授的一系列课程；这是Coursera的机器学习课程的续集。
• 与Pytorch一起介绍了Facebook AI的课程关于Udacity的课程
• 深度学习和神经网络的友好介绍
• 神经网络游乐场修补程序，具有简单的神经网络，旨在帮助您可视化学习过程
• 深度学习神秘 - YouTube解释了从真实神经元到人工神经网络深度学习的灵感
• 学习Tensorflow和深度学习，没有博士学位。这个3小时的课程（视频 +幻灯片）为开发人员提供了快速介绍深度学习的基础知识，并将一些张量插入了讨价还价中。
• Yn^2的深度学习指南
• 杰里米·霍华德（Jeremy Howard
• 深度学习 - 为了解一些ML的视觉学习者推荐使用，本课程提供了深度学习，密集的直觉细节的高级想法，您将在课程中使用TensorFlow
• 深度学习暑期学校，蒙特利尔2015
• 神经网络类 - YouTube播放列表
• http://neuralnetworksanddeeplearning.com/index.html一本动手在线书籍，用于深度学习数学直觉，我可以说，在完成此操作之后，您将能够细节解释深度学习。
• 神经网络Zoo您应该知道的一系列神经网络模型（我知道其中一半，所以不要担心您不知道很多，因为它们中的大多数在当前不受欢迎或没有用）
• 在Udacity教授深度学习的张量流介绍
• 引物•AI这是关于AI基本面/概念的文章精选的，涵盖了建立神经网的整个过程以训练它们以评估结果。还有一个非常详细的变压器架构解释。
• 拥抱面部扩散模型课程学习理论，从头开始训练模型，然后使用它来生成图像和音频。
• 闪电的深度学习基础。

卷积神经网络

与普通DNN相比，使用网格数据（如声波，图像和视频）的DNN。它们基于以下假设：附近的输入单元比遥远单元更相关。他们还利用翻译不变性。例如，给定图像，检测图像上各地的相同边缘可能很有用。它们有时被称为Convnets或CNN 。

• 卷积神经网络的工作方式 - YouTube技术解释，包括合并操作，relu，完全连接的层，使用梯度下降的优化
• 改变一切的神经网络 - 计算机手机
• 了解卷积神经网络的初学者指南
• 对计算机视觉的深度学习（Andrej Karparthy，Openai）这是我最喜欢的卷积网络视频。 Andrej详细解释了Convnet，回答了人们可能遇到的所有好奇问题。例如，大多数文章仅在灰度图像中谈论卷积，但他也描述了带有色道的图像中的卷积。他还谈到了Convnets所做的担忧和假设。这是一个很棒的演讲！
• 通过深层可视化了解神经网络，解释了如何使用各种技术可视化convnet

复发性神经网络

具有州的DNN。他们还了解长度不同的序列。他们有时被称为rnns 。

• http://karpathy.github.io/2015/05/21/rnn-effectives/
• http://colah.github.io/posts/2015-08-ENDERSDANDING-LSTMS/
• http://www.wildml.com/2015/09/recurrent-neurent-networks-tutorial-partorial-part-part-1-intoduction-to-rnns/

最佳实践

• 机器学习规则：ML工程的最佳实践是Martin Zinkevich的文档，介绍了Google在机器学习中的最佳实践。
• 培训神经网络的食谱Andrej的博客文章，讲述了如何训练自己成为偏执的机器学习工程师。
• 如何调试神经网络。手动的。
• 梯度下降优化算法的概述
• 深度学习调整剧本一本剧本，用于系统地最大程度地提高深度学习模型的性能。

工具

对于实用机器学习有用的库和框架

框架

机器学习构建块

• Scikit-Learn通用机器学习库，高级抽象，适合初学者
• 张量；很棒的TensorFlow； Google构建的计算图框架具有不错的可视化板，这可能是当今最受欢迎的框架
• KERAS：人类的深度学习是用Python编写的深度学习API，在Tensorflow上运行。它仍然是高级抽象的国王，供深度学习。更新：Keras现在可用于Tensorflow，Jax和Pytorch！
• Pytorch Tensors和Python中具有强GPU加速度的动态神经网络。它通常由包括OpenAI在内的尖端研究人员使用。
• 闪电快速训练，部署和运送AI产品的深度学习框架。 （过去称为Pytorch Lightning）
• Jax是Autograd和XLA，汇集了高性能机器学习研究。
• Oneflow是一个深度学习框架，旨在用户友好，可扩展和高效。
• Apache MXNET（孵化）用于深度学习Apache MXNET是一个旨在效率和灵活性的深度学习框架。它使您可以混合符号和命令性编程，以最大程度地提高效率和生产力。
• 连锁器的灵活框架，用于深度学习的神经网络
• Vowpal Wabbit是一种机器学习系统，可以通过在线，哈希，杂音，减少，学习2，搜索，主动和互动学习等技术来推动机器学习的前沿。通过实施了几种上下文的强盗算法以及在线性质贷款方面，人们特别关注增强学习。
• H2O是用于分布式可扩展机器学习的内存平台。
• 带有Keras和Tensorflow 2的Spektral图神经网络。
• 常春藤既是ML转板器，又是一个框架，目前支持JAX，Tensorflow，Pytorch和Numpy。常春藤统一了所有ML框架？使您不仅可以编写可以与任何这些框架一起使用的代码作为后端，还可以将其中任何一个写入的任何功能，模型或库转换为您的首选框架！

没有编码

• 路德维希路德维格（Ludwig Ludwig）是一个工具箱，允许用户无需编写代码而训练和测试深度学习模型。它建立在张量之上。

梯度提升

由于其出色的概括性能，在比赛中大量使用的模型。

• https://github.com/dmlc/xgboost极限渐变提升
• https://github.com/microsoft/lightgbm轻量级替代品与XGBoost
• https://github.com/catboost/catboost在决策树库上的快速，可扩展，高性能梯度提升，用于排名，分类，回归和其他机器学习任务，用于Python，R，R，Java，C ++。支持CPU和GPU上的计算。
• https://github.com/tensorflow/decision-forests Tensorflow决策森林（TF-DF）是用于培训，服务和解释决策森林模型的最新算法的集合。
• pytorch/tensorflow纸的实现。进一步读取：标签平衡性能和表格数据上的模型性能，但是它可以推动树模型吗？

时间序列推断

时间序列数据需要独特的功能提取过程，以便在大多数机器学习模型中可用，因为大多数模型都需要数据以表格格式。或者，您可以使用针对时间序列的特殊模型架构，例如LSTM，TCN，等。

• https://github.com/timeseriesai/tsai时间序列时间序列深度学习pytorch fastai-pytorch/fastiai中的时间序列和序列。进一步阅读：TSAI-最新的机器学习时间序列，第1部分。
• https://github.com/alan-turing-institute/sktime一个统一的机器学习框架与时间序列
• https://github.com/sktime/sktime-dl一个扩展程序包，用于tensorflow/keras for sktime
• https://github.com/tslearn-team/tslearn/一个机器学习工具包专用于时间 - 销售数据
• https://github.com/blue-yonder/tsfresh自动提取时间序列的相关功能
• https://github.com/johannfaouzi/pyts python for时间序列分类
• https://github.com/facebook/prophet工具，用于为具有线性或非线性增长的多个季节性的时间序列数据生成高质量的预测。
• https://github.com/philipperemy/keras-tcn keras临时卷积网络
• 火箭：使用随机卷积内核异常快速准确的时间序列分类； Minirocket：对于时间序列分类的非常快的（几乎）确定性转换；这两种技术用于提取时间序列功能。进一步阅读：火箭：快速准确的时间序列分类

生命周期

帮助您开发/调试/部署模型在生产中（MLOP）的库。除了训练模型外，ML还有更多。

• https://huggingface.co/就像github一样，但是用于存储ML模型，数据集和应用程序（它们将应用程序称为空间）。他们有库供您轻松使用代码中的模型/数据集。对于公共和私人项目，该存储是免费的，无限的。
• https://wandb.ai/通过实验跟踪，数据集版本和模型管理构建更好的模型
• https://github.com/flyteorg/flyte flyte使得为机器学习和数据处理创建并发，可扩展和可维护的工作流程变得易于创建。
• https://github.com/allegroai/clearml自动 - 马吉套件的工具套件可以简化您的ML工作流程。实验经理，ML-OPS和数据管理
• https://github.com/quantumblacklabs/kedro是一个Python框架，用于创建可重复，可维护和模块化数据科学代码。
• https://github.com/determined-ai/determined确定是一个开放源深度学习培训平台，使建筑模型快速轻松。我主要将其用于调整超参数。
• https://github.com/iterative/cml连续机器学习（CML）是一个开放式库，用于在机器学习项目中实现连续集成和交付（CI/CD）。使用它来自动化开发工作流程的一部分，包括模型培训和评估，比较项目历史记录中的ML实验以及监视更改数据集。
• https://github.com/creme-ml/creme Python库用于在线机器学习。库中的所有工具一次都可以一次进行单个观察结果进行更新，因此可以用于从流数据中学习。
• https://github.com/aimhubio/aim录制，搜索和比较1000次ML培训运行的超级方式
• https://github.com/netflix/metaflow metaflow是一个人类友好的Python库，可帮助科学家和工程师构建和管理现实生活中的数据科学项目。元流最初是在Netflix开发的。
• MLFLOW MLFLOW（当前在Beta中）是管理ML生命周期的开源平台，包括实验，可重复性和部署。它目前提供了三个组件：MLFlow跟踪，MLFLOW项目，MLFLOW模型。
• Floydhub A Heroku进行深度学习（您专注于模型，他们将部署）
• Comet.ml彗星使数据科学家和团队能够跟踪，比较，解释和优化整个生命周期的实验和模型。从训练到生产
• https://neptune.ai/在一个地方管理所有模型构建元数据
• https://github.com/fastai/nbdev使用jupyter笔记本创建令人愉悦的python项目
• https://rapids.ai/ GPU的数据科学
• https://github.com/datarevenue-berlin/openmlops
• https://github.com/jacopotagliabue/you-dont-need-a-bigger-boat并不是真正的工具，而是有关如何在现实世界中合理规模业务中共同组成许多工具的指南。
• https://www.modular.com/一家雄心勃勃的目标是从头开始重新设计AI基础设施。他们介绍了一种名为Mojo的新语言，该语言是Python的超集。

GPU云

请记住，这是一个自以为是的列表。那里有数十亿个云提供商。我不会列出所有这些。我只是要列出我熟悉的那些，我认为很好。

• https://lightning.ai/ Lightning Studio使您有可能抛弃高端笔记本电脑以开发机器学习模型。只需使用VSCODE在云中写代码，然后使用其GPU进行训练或推理。 Lightning Studio类似于GitHub代码，但与GPU相似。
• https://modal.com/模态可让您运行或部署机器学习模型，大规模并行计算作业，任务队列，网络应用程序等，而没有自己的基础架构。
• https://www.runpod.io/在GPU上节省了80％以上。使用Jupyter使用Pytorch，TensorFlow或任何其他AI框架，GPU租赁变得容易。我以前用过它。非常易于使用。
• https://replate.com/运行和微调开放源模型。使用COG大规模部署自定义模型。全部都有一行代码。
• https://bentoml.com/ bentoml是软件工程师构建AI产品的平台。使用Bentoml软件包部署。
• https://www.baseten.co/使用桁架中的云中快速可扩展的模型推断
• https://lambdalabs.com/ GPU云构建了为深度学习。即时获得市场上云GPU的最佳价格。无需承诺或谈判。节省超过73％的AWS，Azure和GCP。配置为使用Pytorch，TensorFlow，Jupyter进行深度学习
• https://www.beam.cloud/ on-demand gpu计算：培训和部署AI和LLM应用程序在无服务器GPU上安全地固定，而无需管理基础架构

数据存储

• https://github.com/huggingface/datasets/一个用于加载，预处理和共享数据集的软件包。
• https://github.com/activeloopai/deeplake Data Lake进行深度学习。构建，管理，查询，版本和可视化数据集。实时将数据实时流式传输到pytorch/tensorflow。
• https://github.com/determined-ai/yogadl更好地进行深度学习的数据加载方法。 API Transparent缓存到磁盘，GCS或S3。
• https://github.com/google/ml_collections ml Collections是专为ML用例设计的Python集合库。它包含配置，这是一种“ dictike”数据结构，可点入嵌套元素。它应该用作表达实验和模型配置的主要方式。

数据争吵

数据清洁和数据扩展

• https://github.com/cgnorthcutt/cleanlab清洁标签数据集错误
• https://github.com/aleju/imgaug图像增强库，该库支持将关键点转换为热图
• https://github.com/albu/albumentations最快的图像增强库
• https://github.com/mdbloice/augmentor易于使用的图像增强（无法增强关键点）
• https://github.com/facebookresearch/augly用于音频，图像，文本和视频的数据增强库。

数据编排

• https://github.com/prefecthq/prefect
• https://github.com/dagster-io/dagster
• https://github.com/ploomber/ploomber ploomber是构建数据管道⚡️的最快方法。使用您喜欢的编辑器（Jupyter，Vscode，Pycharm）进行交互性开发，并在没有代码更改的情况下（Kubernetes，airflow，AWS Batch和Slurm）部署☁️。
• https://github.com/orchest/orchest构建数据管道，使用用户友好的UI的简便方法

数据可视化

• https://github.com/gradio-app/gradio在3分钟内为您的机器学习模型创建UIS。 UI是一个可以与任何人，甚至非技术人员共享的网络应用程序。我喜欢的功能之一是示例组件。它很好地表明了该应用程序用于机器学习用例。
• https://github.com/streamlit/streamlit简化会在几分钟内将数据脚本变成可共享的Web应用程序。所有人都在python。全部免费。无需前端经验。
• https://github.com/oegedijk/explainerdashboard迅速构建可解释的AI仪表板，显示所谓的“ BlackBox”机器学习模型的内部工作。
• https://github.com/lux-org/lux只需在jupyter笔记本中打印一个数据框，Lux建议一组可视化，以突出数据集中的有趣趋势和模式。
• https://github.com/slundberg/shap shap shap shap（Shapley添加说明）是一种游戏理论方法，可以解释任何机器学习模型的输出。
• https://github.com/comet-ml/kangas kangas是一种用于探索，分析和可视化大规模多媒体数据的工具。它提供了一个直接的Python API，用于记录大量数据，以及一个直观的视觉界面，用于对数据集执行复杂的查询。

高参数调整

在开始之前，请阅读此博客文章以了解一般搜索的动机：https：//www.determined.ai/blog/stop-doing-iterative-titerative-model-development

睁开眼睛以进行搜索驱动的开发。它会改变你。主要好处是不会遇到挫折。只允许进度和改进。想象一下，每天都在工作和进步，而不是因为新解决方案不起作用，而不是向后退回。这种保证的进度是搜索驱动的开发对您的影响。将其应用于优化中的所有内容，而不仅仅是机器学习。

由于并行化（在许多机器上分布式调谐），灵活性（可以优化任意目标并允许调谐数据集参数），SOTA调谐算法库（例如，超级频繁，bohb，bohb，bohb，bohb，pbt，pbt，asha等），我的最佳偏好是确定，射线调整和Optuna（在许多机器上分布式调谐），灵活性（可以优化任意目标并允许调节数据集参数），结果可视化/分析/分析/分析工具。

• https://github.com/determined-ai/determined确定是一个开放源深度学习培训平台，使建筑模型快速轻松。 IMO，最好是廉价地调整深度学习模型的超级参数，因为它将在具有有希望的指标和没有的早期停止模型的模型上训练许多时代。他们支持AWS和大多数云服务作为一流的公民。他们还支持可享有的实例，这又是便宜的。完成培训后，所有GPU实例都会自动关闭。如果您想节省大规模培训的钱，请坚定不移。
• https://docs.ray.io/en/master/tune/index.html Ray Tune是一个用于实验执行和任何规模的实验执行和超参数调整的python库。如果您正在寻找分布式调整，Ray Tune可能是那里最严重的框架。
• https://github.com/optuna/optuna自动超参数优化软件框架（框架agnostic，define by-run）
• https://github.com/pyhopper/pyhopper pyhopper是一个超参数优化器，专门用于机器学习研究和企业中出现的高维问题。这个家伙声称它比Optuna快10倍。这是真的吗？我们不知道，直到我们尝试！
• https://github.com/keras-team/keras-tuner易于使用，可易于使用，可为keras提供易于分发的超参数优化；在这里阅读其文章
• https://github.com/autonomio/talos talsorflow（Tensorflow）（tf.keras）和pytorch
• https://github.com/maxpumperla/hyperas keras + hyperopt：一个非常简单的包装器，用于方便的超参数优化
• https://github.com/fmfn/bayesianoptimization用高斯流程实现全球优化的Python。
• https://github.com/hyperopt/hyperopt
• https://github.com/mmsu-coinlab/pymoo多目标优化
• https://github.com/google/vizier开源Vizier：可靠且灵活的黑盒优化。 Oss Vizier是基于Google Vizier的基于Python的一项用于黑盒优化和研究的服务，Google Vizier是最早旨在大规模运行的超参数调谐服务之一。

汽车

让机器学习，而无需进行功能工程，模型选择和超参数调整的任务。让机器为您执行机器学习！

就我个人而言，如果我有一个表格数据集，我会首先尝试FLAML和MLJAR，尤其是如果您想快速工作时。如果您想尝试梯度提升框架，例如XGBoost，LightGBM，Catboost等，但是您不知道哪种框架最有效，我建议您首先尝试Automl，因为它将在内部尝试前面提到的梯度增强框架。

• 2021年，最佳OpenSource Automl框架在介质上包含策划的OpenSource Automl框架列表。
• https://github.com/dabl/dabl数据分析基线库；快速训练一个简单的模型以用作性能基线
• https://www.automl.org/查找策划的汽车库和研究列表
• https://github.com/jhfjhfj1/autokeras在撰写本文（2018年8月24日）时，该库只是为时过早，因为它只能进行分类。
• https://github.com/automl/auto-sklearn/不在Windows上运行，您需要安装WSL（Windows subsystem for Linux）才能使用它
• https://github.com/epistasislab/tpot运行数千个机器学习管道并为您输出代码
• https://github.com/climbsrocks/auto_ml阅读作者对TPOT和Auto-Sklearn之间的比较的看法
• https://github.com/microsoft/flaml快速而轻巧的汽车具有具有成本效益的经济优化算法。
• https://github.com/mljar/mljar-supersped with自动化的机器学习python软件包，该软件包可与表格数据一起使用。我喜欢它生成可视化报告（在解释模式下），并为您提供额外功能，例如黄金功能和K-均值功能。
• https://github.com/awslabs/autogluon automl用于文本，图像和表格数据。但它不支持Windows（截至2021年10月11日）。
• https://github.com/autoviml/auto_viml auto_viml旨在构建所需变量最少的高性能可解释模型。

模型体系结构

在其领域最先进的体系结构。

• https://github.com/rwightman/pytorch-image-models pytorch型号，脚本，预处理的重量 - 重新连接，resnet，resnext，EfficityNetv2，nfnetv2，nfnet，nfnet，Vision Transformer，Mixnet，Mixnet，Mobilenet-v3/v2/v2/v2，regnet，regnet，dpn，dpn，dpn，dpn，dpn，csspnet＆cors＆cors＆rofe＆rofe。它通常称为timm 。
• https://modelzoo.co/模型动物园
• https://github.com/tensorflow/models
• 洋红色：机器智能的音乐和艺术发电
• https://github.com/phillipi/pix2pix image-to-to Image Translation使用条件对抗网； pix2pix的TensorFlow端口;观看这项工作的介绍：学会没有老师看见
• Wav2letter Facebook AI Research的自动语音识别工具包
• https://github.com/huggingface/transformers state-of-the-the-art天然语言处理tensorflow 2.0和pytorch
• https://github.com/huggingface/diffusers？扩散器：Pytorch中图像和音频产生的最新扩散模型
• https://bigscience.huggingface.co/blog/bloom从BigScience LLM打开大型语言模型。文章
• https://github.com/hpcaitech/colossalai文章
• https://stability.ai/blog/stable-diffusion-public-rease稳定扩散是一种模型，可以从简短的文本描述中生成高质量的图像。这是一个简短的Twitter线程，解释了为什么它如此出色。这是一个包含资源的线程，以了解有关扩散模型的更多信息。

及时的工程

大型语言模型（LLM）等GPT-3具有功能强大，但是需要提示它们生成所需的输出。这是及时工程的地方。及时工程是设计提示的过程，可用于生成所需的输出。

• https://github.com/hwchase17/langchain这是一个Python软件包，用于通过合成性通过LLM构建应用程序。
• https://dust.tt/一种基于Web的工具，用于设计和部署大型语言模型应用程序。
• https://github.com/jerryjliu/gpt_index gpt Index是一个由使用LLMS创建的一组数据结构组成的项目，可以使用LLMS进行遍历以回答查询。
• https://github.com/xpitfire/symbolicai/组成可区分的编程库：通过我们的象征性API在Python中利用我们的符号API构建应用程序核心的应用程序。

不错的博客和视频博客要关注

• https://www.pyimagesearch.com/经常更新有关OpenCV和深度学习的博客
• http://colah.github.io/美丽的可视化解释
• https://karpathy.github.io/他在深网上教了一些课程，并曾经在特斯拉（Tesla）担任AI主任。
• http://ruder.io sebastian Ruder的深度学习和NLP博客
• http://www.wildml.com/
• https://machinelearningmastery.com/包含很多内容和美丽的网站
• Sirajology的YouTube播放列表很多密集的简短热闹介绍ML
• 关于深度学习播放列表的两分钟论文
• Distill.Pub一种现代媒介，用于介绍机器学习中的研究
• Deeplearn.org深学习监视器；有关深度学习论文和推文的新闻
• Datarevenue博客大部分有关MLOP
• https://www.youtube.com/c/andrejkarpathy Andrej Karparthy在离开Tesla Autopilot团队以教人们如何以“拼写”样式实现神经网络后，创建了一个新的YouTube频道。
• https://e2eml.school/blog.html端到端机器学习博客，该博客详细介绍了许多主题，例如变形金刚的工作方式。
• https://jalammar.github.io/可视化机器一次学习一个概念。他的博客包含有关ML概念（例如变压器或稳定扩散）的插图解释。
• Radek Osmulski博客博客有关DL技术和策略的博客，您可以利用更快的学习速度。

有影响力的人

• 杰弗里·欣顿（Geoffrey Hinton），通过向他的学生介绍2种革命性的技术（relu和辍学），被称为深度学习的教父。这些技术解决了深度神经网络的消失梯度和概括问题。
• Yann Lecun，他发明了CNN（卷积神经网络），这种网络在当今的计算机视觉开发人员中确实很受欢迎。目前在Meta工作。
• Yoshua Bengio another serious professor at Deep Learning, you can watch his TEDx talk here (2017)
• Andrew Ng he discovered that GPUs make deep learning faster. He taught 2 famous online courses, Machine Learning and Deep Learning specialization at Coursera. particular type of RNN)
• Jeff Dean, a Google Brain engineer, watch his TEDx Talk
• Ian Goodfellow, he invented GANs (Generative Adversarial Networks), is an OpenAI engineer
• David Silver this is the guy behind AlphaGo and Artari reinforcement learning game agents at DeepMind
• Demis Hassabis CEO of DeepMind, has given a lot of talks about AlphaGo and Reinforcement Learning achievements they have
• Andrej Karparthy he teaches convnet classes, wrote ConvNetJS, and produces a lot of content for DL community, he also writes a blog (see Nice Blogs & Vlogs to Follow section)
• Pedro Domingos he wrote the book The Master Algorithm: How the Quest for the Ultimate Learning Machine Will Remake Our World , watch his TEDx talk here
• Emad Mostaque he is the founder of stability.ai, a company that releases many open source AI models including Stable Diffusion
• Sam Altman he is the president of OpenAI, a company that releases ChatGPT

Cutting-Edge Research Publishers

Steal the most recent techniques introduced by smart computer scientists (could be you).

• http://www.arxiv-sanity.com/ Arxiv Sanity Preserver
• https://research.facebook.com/ai/
• http://research.google.com/pubs/MachineIntelligence.html
• https://deepmind.com/research/ Research of DeepMind company
• https://www.openai.com/
• https://www.openai.com/requests-for-research/
• State of the art performance on each ML task
• State-of-the-art result for all Machine Learning Problems
• https://stability.ai/ is releasing a lot of open source high-quality models.
• https://twitter.com/ai__pub AI papers and AI research explained, for technical people.
• https://twitter.com/_akhaliq is a Twitter account that tweets the latest research papers in the field of AI.

Practitioner Community

• https://www.kaggle.com
• https://gym.openai.com
• https://universe.openai.com/
• /r/MachineLearning
• https://www.facebook.com/groups/DeepNetGroup/

Thoughtful Insights for Future Research

• Why AI is Harder Than We Think
• The Consciousness Prior by Yoshua Bengio
• What Can't Deep Learning Do? a list of problems that deep learning faces
• Pedro Domingos: "The Master Algorithm" - Talks at Google
• The AI Revolution: The Road to Superintelligence
• https://ai100.stanford.edu/2016-report
• Why does Deep Learning work so well? - The Extraordinary Link Between Deep Neural Networks and the Nature of the Universe
• These are three of the biggest problems facing today's AI
• Four Questions For: Geoff Hinton Geoff Hinton is referred to as "godfather of neural networks"
• What product breakthroughs will recent advances in deep learning enable? - Quora
• Liquid Neural Networks

未分类

• Artificial Intelligence: A Modern Approach (Online Book)
• The Principles of Modern Game AI
• Scipy Lecture Notes
• https://www.youtube.com/user/aicourses
• The Fundamentals of Neuroscience learn how our brain works so that you can discover new deep learning breakthrough
• Bayesian Methods for Hackers An introduction to Bayesian methods + probabilistic programming with a computation/understanding-first, mathematics-second point of view.全部属于纯python;）

Other Big Lists

• https://github.com/ahmedbahaaeldin/From-0-to-Research-Scientist-resources-guide This guide is designated to anybody with basic programming knowledge or a computer science background interested in becoming a Research Scientist with on Deep Learning and NLP.
• https://www.mrdbourke.com/ml-resources/ Machine Learning Courses & Resources recommendation by Daniel Bourke
• List of MLOps Courses and Books by Damien Benveniste on Facebook
• https://github.com/collections/machine-learning
• https://github.com/topics/machine-learning
• https://github.com/topics/mlops
• https://github.com/GokuMohandas/MadeWithML Join 30K+ developers in learning how to responsibly deliver value with ML.
• https://papers.labml.ai/papers/daily
• https://github.com/alirezadir/Production-Level-Deep-Learning
• https://github.com/jindongwang/transferlearning
• https://github.com/kmario23/deep-learning-drizzle
• https://github.com/ZuzooVn/machine-learning-for-software-engineers
• https://github.com/josephmisiti/awesome-machine-learning
• https://github.com/ujjwalkarn/Machine-Learning-Tutorials
• https://github.com/terryum/awesome-deep-learning-papers
• https://github.com/ChristosChristofidis/awesome-deep-learning
• https://github.com/Developer-Y/cs-video-courses#machine-learning
• Deep Learning Resources by Jeremy D. Jackson
• https://github.com/songrotek/Deep-Learning-Papers-Reading-Roadmap
• https://github.com/aikorea/awesome-rl Awesome Reinforcement Learning
• https://github.com/artix41/awesome-transfer-learning Awesome Transfer Learning
• https://github.com/heejkoo/Awesome-Diffusion-Models Awesome Diffusion Models
• https://github.com/Renumics/awesome-open-data-centric-ai Data-centric AI is the practice of systematically engineering the data used to build AI systems.
• https://github.com/labmlai/annotated_deep_learning_paper_implementations
• https://github.com/ashishpatel26/500-AI-Machine-learning-Deep-learning-Computer-vision-NLP-Projects-with-code

I am confused, too many links, where do I start?

If you are a beginner and want to get started with my suggestions, please read this issue: #4

免责声明

From now on, this list is going to be compact and opinionated towards my own real-world ML journey and I will put only content that I think are truly beneficial for me and most people. All the materials and tools that are not good enough (in any aspect) will be gradually removed to combat information overload, including:

• too difficult materials without much intuition; impractical content
• too much theory without real-world practice
• low-quality and unstructured materials
• courses that I don't consider to enroll myself
• knowledge or tools that are too niche and not many people can use it in their works eg deepdream or unsupervised domain adaptation (because you can Google it if you want to use it in your work).
• tools that are beaten by other tools; not being state-of-the-art anymore
• commercial tools that look like it can die any time soon
• projects that are outdated or not maintained anymore

NOTE : There is no particular rank for each link. The order in which they appear does not convey any meaning and should not be treated differently.

How to contribute to this list

1. Fork this repository, then apply your change.
2. Make a pull request and tag me if you want.
3. 就是这样。 If your edition is useful, I'll merge it.

Or you can just submit a new issue containing the resource you want me to include if you don't have time to send a pull request.

The resource you want to include should be free to study.

---