machine learning curriculum

機器學習課程

機器學習是專門用於使機器從觀察數據中學習的人工智能的一個分支，而無需明確編程。

機器學習和AI不一樣。機器學習是AI交響曲中的一種儀器，這是AI的組成部分。那麼，機器學習或ML到底是什麼？這是算法從先前數據中學習以產生行為的能力。 ML正在教學機器，以在他們從未見過的情況下做出決定。

該課程是為了指導您學習機器學習，推薦工具並通過建議媒體遵循的方式來擁抱ML生活方式。我會定期更新它，以保持新鮮感並擺脫過時的內容和棄用的工具。

一般機器學習

研究本節以了解基本概念並發展直覺，然後再進行更深入的研究。

據說，計算機程序可以從經驗E中學習一些類別的任務T和績效測量P如果P的t任務在T中的性能（通過P的任務）可以通過經驗E來提高。

• AI的元素一堆簡單的課程教授AI和機器學習
• COMS W4995應用機器學習春季2020年春季視頻和哥倫比亞大學應用的ML課程的幻燈片。
• fast.ai有用的機器學習課程
• 使用TensorFlow API的機器學習速效課程Google的快節奏，實用的機器學習介紹
• 機器學習的介紹 - 蘇格里特·萊恩（Scikit -Learn）（Python）編程學習核心ML概念
• 機器學習：受監督，無監督和加強 - udacity兩位教練很有趣
• 機器學習掌握精心仔細佈置了某些特定算法的分步指南
• Andrew Ng在Coursera上的專業化建議為那些想知道引擎蓋下ML算法細節的人，了解足夠的數學以使其危險並在Python中進行編碼任務
• ML食譜 - YouTube播放列表非常設計精美的具體可操作內容用於ML介紹
• 機器學習是有趣的第1部分簡單的方法，用於非記憶人員的機器學習
• 使用Python的機器學習 - YouTube播放列表
• Andrew Ng的機器學習嚮往
• 登陸數據工作：該課程是想要專注於找到工作的人們的自以為是且實用的指南。例如，他們建議知道決策樹的工作原理已經足夠好了，您不需要知道所有模型的工作原理，這是真的！但是，此建議主要用於表格數據。
• 無服務器的機器學習構建自己的機器學習無服務器預測服務
• 有效的MLOP：模型開發通過權重和偏見的自由課程和認證
• Coursera的機器學習和數據科學專業數學課程的數學

圖書

• 塞巴斯蒂安·拉斯卡（Sebastian Raschka）與Pytorch和Scikit-Learn的機器學習
• AurélienGéron的第二版與Scikit-Learn，Keras和Tensorflow的動手機器學習是銷量最好的書，因為它很棒。
• https://github.com/fastai/fastbook the fastai書籍，以jupyter筆記本出版
• https://www.deeplearningbook.org/ Ian Goodfellow和Yoshua Bengio和Aaron Courville的數學重書
• https://christophm.github.io/interpretable-ml-book/指南，用於使黑匣子模型可解釋
• https://themlbook.com/ Andriy Burkov的一百台機器學習書

強化學習

建立一種感知環境的機器，然後選擇在任何給定狀態下採取的最佳政策（行動）以最大化其預期的長期標量獎勵是增強學習的目標。

• Openai旋轉這是Openai生產的一種教育資源，它使學習深度強化學習變得更加容易（DEEP RL）。
• 基本的加強學習介紹系列輔助學習（RL）以及全面的分步教程。
• 高級主題：RL 2015（CompM050/Compgi13），作者：David Silver（Alphago背後的人）
• 理查德·S·薩頓（Richard S. Sutton）和安德魯·G·巴托（Andrew G.
• 深度增強學習：像素的乒乓球
• 講座10：加強學習 - YouTube
• 調查文件
• 深度強化學習：教程 - Openai
• CS 294：深鋼筋學習，2017年春季

深度學習

深度學習是機器學習的一個分支，其中深人造神經網絡（DNN）（受神經元在大腦中的工作方式啟發的算法）通過結合多個人工神經元的多層來找到原始數據中的模式。隨著層次的增加，神經網絡學習越來越抽象的概念的能力也是如此。

最簡單的DNN是多層感知器（MLP）。

• 深度學習的小書本書是對具有STEM背景的讀者的簡短介紹，該書最初旨在在電話屏幕上閱讀。它是根據非商業創意共享許可證分發的，在公開發行後的一個月下載了接近250'000次。
• 完整的深度學習學習生產水平的深度學習
• 深度學習。在Coursera在Andrew Ng教授的一系列課程；這是Coursera的機器學習課程的續集。
• 與Pytorch一起介紹了Facebook AI的課程關於Udacity的課程
• 深度學習和神經網絡的友好介紹
• 神經網絡遊樂場修補程序，具有簡單的神經網絡，旨在幫助您可視化學習過程
• 深度學習神秘 - YouTube解釋了從真實神經元到人工神經網絡深度學習的靈感
• 學習Tensorflow和深度學習，沒有博士學位。這個3小時的課程（視頻 +幻燈片）為開發人員提供了快速介紹深度學習的基礎知識，並將一些張量插入了討價還價中。
• Yn^2的深度學習指南
• 傑里米·霍華德（Jeremy Howard
• 深度學習 - 為了解一些ML的視覺學習者推薦使用，本課程提供了深度學習，密集的直覺細節的高級想法，您將在課程中使用TensorFlow
• 深度學習暑期學校，蒙特利爾2015
• 神經網絡類 - YouTube播放列表
• http://neuralnetworksanddeeplearning.com/index.html一本動手在線書籍，用於深度學習數學直覺，我可以說，在完成此操作之後，您將能夠細節解釋深度學習。
• 神經網絡Zoo您應該知道的一系列神經網絡模型（我知道其中一半，所以不要擔心您不知道很多，因為它們中的大多數在當前不受歡迎或沒有用）
• 在Udacity教授深度學習的張量流介紹
• 引物•AI這是關於AI基本面/概念的文章精選的，涵蓋了建立神經網的整個過程以訓練它們以評估結果。還有一個非常詳細的變壓器架構解釋。
• 擁抱面部擴散模型課程學習理論，從頭開始訓練模型，然後使用它來生成圖像和音頻。
• 閃電的深度學習基礎。

卷積神經網絡

與普通DNN相比，使用網格數據（如聲波，圖像和視頻）的DNN。它們基於以下假設：附近的輸入單元比遙遠單元更相關。他們還利用翻譯不變性。例如，給定圖像，檢測圖像上各地的相同邊緣可能很有用。它們有時被稱為Convnets或CNN 。

• 卷積神經網絡的工作方式 - YouTube技術解釋，包括合併操作，relu，完全連接的層，使用梯度下降的優化
• 改變一切的神經網絡 - 計算機手機
• 了解卷積神經網絡的初學者指南
• 對計算機視覺的深度學習（Andrej Karparthy，Openai）這是我最喜歡的捲積網絡視頻。 Andrej詳細解釋了Convnet，回答了人們可能遇到的所有好奇問題。例如，大多數文章僅在灰度圖像中談論卷積，但他也描述了帶有色道的圖像中的捲積。他還談到了Convnets所做的擔憂和假設。這是一個很棒的演講！
• 通過深層可視化了解神經網絡，解釋瞭如何使用各種技術可視化convnet

復發性神經網絡

具有州的DNN。他們還了解長度不同的序列。他們有時被稱為rnns 。

• http://karpathy.github.io/2015/05/21/rnn-effectives/
• http://colah.github.io/posts/2015-08-ENDERSDANDING-LSTMS/
• http://www.wildml.com/2015/09/recurrent-neurent-networks-tutorial-partorial-part-part-1-intoduction-to-rnns/

最佳實踐

• 機器學習規則：ML工程的最佳實踐是Martin Zinkevich的文檔，介紹了Google在機器學習中的最佳實踐。
• 培訓神經網絡的食譜Andrej的博客文章，講述瞭如何訓練自己成為偏執的機器學習工程師。
• 如何調試神經網絡。手動的。
• 梯度下降優化算法的概述
• 深度學習調整劇本一本劇本，用於系統地最大程度地提高深度學習模型的性能。

工具

對於實用機器學習有用的庫和框架

框架

機器學習構建塊

• Scikit-Learn通用機器學習庫，高級抽象，適合初學者
• 張量；很棒的TensorFlow； Google構建的計算圖框架具有不錯的可視化板，這可能是當今最受歡迎的框架
• KERAS：人類的深度學習是用Python編寫的深度學習API，在Tensorflow上運行。它仍然是高級抽象的國王，供深度學習。更新：Keras現在可用於Tensorflow，Jax和Pytorch！
• Pytorch Tensors和Python中具有強GPU加速度的動態神經網絡。它通常由包括OpenAI在內的尖端研究人員使用。
• 閃電快速訓練，部署和運送AI產品的深度學習框架。 （過去稱為Pytorch Lightning）
• Jax是Autograd和XLA，匯集了高性能機器學習研究。
• Oneflow是一個深度學習框架，旨在用戶友好，可擴展和高效。
• Apache MXNET（孵化）用於深度學習Apache MXNET是一個旨在效率和靈活性的深度學習框架。它使您可以混合符號和命令性編程，以最大程度地提高效率和生產力。
• 連鎖器的靈活框架，用於深度學習的神經網絡
• Vowpal Wabbit是一種機器學習系統，可以通過在線，哈希，雜音，減少，學習2，搜索，主動和互動學習等技術來推動機器學習的前沿。通過實施了幾種上下文的強盜算法以及在線性質貸款方面，人們特別關注增強學習。
• H2O是用於分佈式可擴展機器學習的內存平台。
• 帶有Keras和Tensorflow 2的Spektral圖神經網絡。
• 常春藤既是ML轉板器，又是一個框架，目前支持JAX，Tensorflow，Pytorch和Numpy。常春藤統一了所有ML框架？使您不僅可以編寫可以與任何這些框架一起使用的代碼作為後端，還可以將其中任何一個寫入的任何功能，模型或庫轉換為您的首選框架！

沒有編碼

• 路德維希路德維格（Ludwig Ludwig）是一個工具箱，允許用戶無需編寫代碼而訓練和測試深度學習模型。它建立在張量之上。

梯度提升

由於其出色的概括性能，在比賽中大量使用的模型。

• https://github.com/dmlc/xgboost極限漸變提升
• https://github.com/microsoft/lightgbm輕量級替代品與XGBoost
• https://github.com/catboost/catboost在決策樹庫上的快速，可擴展，高性能梯度提升，用於排名，分類，回歸和其他機器學習任務，用於Python，R，R，Java，C ++。支持CPU和GPU上的計算。
• https://github.com/tensorflow/decision-forests Tensorflow決策森林（TF-DF）是用於培訓，服務和解釋決策森林模型的最新算法的集合。
• pytorch/tensorflow紙的實現。進一步讀取：標籤平衡性能和表格數據上的模型性能，但是它可以推動樹模型嗎？

時間序列推斷

時間序列數據需要獨特的功能提取過程，以便在大多數機器學習模型中可用，因為大多數模型都需要數據以表格格式。或者，您可以使用針對時間序列的特殊模型架構，例如LSTM，TCN，等。

• https://github.com/timeseriesai/tsai時間序列時間序列深度學習pytorch fastai-pytorch/fastiai中的時間序列和序列。進一步閱讀：TSAI-最新的機器學習時間序列，第1部分。
• https://github.com/alan-turing-institute/sktime一個統一的機器學習框架與時間序列
• https://github.com/sktime/sktime-dl一個擴展程序包，用於tensorflow/keras for sktime
• https://github.com/tslearn-team/tslearn/一個機器學習工具包專用於時間 - 銷售數據
• https://github.com/blue-yonder/tsfresh自動提取時間序列的相關功能
• https://github.com/johannfaouzi/pyts python for時間序列分類
• https://github.com/facebook/prophet工具，用於為具有線性或非線性增長的多個季節性的時間序列數據生成高質量的預測。
• https://github.com/philipperemy/keras-tcn keras臨時卷積網絡
• 火箭：使用隨機捲積內核異常快速準確的時間序列分類； Minirocket：對於時間序列分類的非常快的（幾乎）確定性轉換；這兩種技術用於提取時間序列功能。進一步閱讀：火箭：快速準確的時間序列分類

生命週期

幫助您開發/調試/部署模型在生產中（MLOP）的庫。除了訓練模型外，ML還有更多。

• https://huggingface.co/就像github一樣，但是用於存儲ML模型，數據集和應用程序（它們將應用程序稱為空間）。他們有庫供您輕鬆使用代碼中的模型/數據集。對於公共和私人項目，該存儲是免費的，無限的。
• https://wandb.ai/通過實驗跟踪，數據集版本和模型管理構建更好的模型
• https://github.com/flyteorg/flyte flyte使得為機器學習和數據處理創建並發，可擴展和可維護的工作流程變得易於創建。
• https://github.com/allegroai/clearml自動 - 馬吉套件的工具套件可以簡化您的ML工作流程。實驗經理，ML-OPS和數據管理
• https://github.com/quantumblacklabs/kedro是一個Python框架，用於創建可重複，可維護和模塊化數據科學代碼。
• https://github.com/determined-ai/determined確定是一個開放源深度學習培訓平台，使建築模型快速輕鬆。我主要將其用於調整超參數。
• https://github.com/iterative/cml連續機器學習（CML）是一個開放式庫，用於在機器學習項目中實現連續集成和交付（CI/CD）。使用它來自動化開發工作流程的一部分，包括模型培訓和評估，比較項目歷史記錄中的ML實驗以及監視更改數據集。
• https://github.com/creme-ml/creme Python庫用於在線機器學習。庫中的所有工具一次都可以一次進行單個觀察結果進行更新，因此可以用於從流數據中學習。
• https://github.com/aimhubio/aim錄製，搜索和比較1000次ML培訓運行的超級方式
• https://github.com/netflix/metaflow metaflow是一個人類友好的Python庫，可幫助科學家和工程師構建和管理現實生活中的數據科學項目。元流最初是在Netflix開發的。
• MLFLOW MLFLOW（當前在Beta中）是管理ML生命週期的開源平台，包括實驗，可重複性和部署。它目前提供了三個組件：MLFlow跟踪，MLFLOW項目，MLFLOW模型。
• Floydhub A Heroku進行深度學習（您專注於模型，他們將部署）
• Comet.ml彗星使數據科學家和團隊能夠跟踪，比較，解釋和優化整個生命週期的實驗和模型。從訓練到生產
• https://neptune.ai/在一個地方管理所有模型構建元數據
• https://github.com/fastai/nbdev使用jupyter筆記本創建令人愉悅的python項目
• https://rapids.ai/ GPU的數據科學
• https://github.com/datarevenue-berlin/openmlops
• https://github.com/jacopotagliabue/you-dont-need-a-bigger-boat並不是真正的工具，而是有關如何在現實世界中合理規模業務中共同組成許多工具的指南。
• https://www.modular.com/一家雄心勃勃的目標是從頭開始重新設計AI基礎設施。他們介紹了一種名為Mojo的新語言，該語言是Python的超集。

GPU雲

請記住，這是一個自以為是的列表。那裡有數十億個雲提供商。我不會列出所有這些。我只是要列出我熟悉的那些，我認為很好。

• https://lightning.ai/ Lightning Studio使您有可能拋棄高端筆記本電腦以開發機器學習模型。只需使用VSCODE在雲中寫代碼，然後使用其GPU進行訓練或推理。 Lightning Studio類似於GitHub代碼，但與GPU相似。
• https://modal.com/模態可讓您運行或部署機器學習模型，大規模並行計算作業，任務隊列，網絡應用程序等，而沒有自己的基礎架構。
• https://www.runpod.io/在GPU上節省了80％以上。使用Jupyter使用Pytorch，TensorFlow或任何其他AI框架，GPU租賃變得容易。我以前用過它。非常易於使用。
• https://replate.com/運行和微調開放源模型。使用COG大規模部署自定義模型。全部都有一行代碼。
• https://bentoml.com/ bentoml是軟件工程師構建AI產品的平台。使用Bentoml軟件包部署。
• https://www.baseten.co/使用桁架中的雲中快速可擴展的模型推斷
• https://lambdalabs.com/ GPU雲構建了為深度學習。即時獲得市場上雲GPU的最佳價格。無需承諾或談判。節省超過73％的AWS，Azure和GCP。配置為使用Pytorch，TensorFlow，Jupyter進行深度學習
• https://www.beam.cloud/ on-demand gpu計算：培訓和部署AI和LLM應用程序在無服務器GPU上安全地固定，而無需管理基礎架構

數據存儲

• https://github.com/huggingface/datasets/一個用於加載，預處理和共享數據集的軟件包。
• https://github.com/activeloopai/deeplake Data Lake進行深度學習。構建，管理，查詢，版本和可視化數據集。實時將數據實時流式傳輸到pytorch/tensorflow。
• https://github.com/determined-ai/yogadl更好地進行深度學習的數據加載方法。 API Transparent緩存到磁盤，GCS或S3。
• https://github.com/google/ml_collections ml Collections是專為ML用例設計的Python集合庫。它包含配置，這是一種“ dictike”數據結構，可點入嵌套元素。它應該用作表達實驗和模型配置的主要方式。

數據爭吵

數據清潔和數據擴展

• https://github.com/cgnorthcutt/cleanlab清潔標籤數據集錯誤
• https://github.com/aleju/imgaug圖像增強庫，該庫支持將關鍵點轉換為熱圖
• https://github.com/albu/albumentations最快的圖像增強庫
• https://github.com/mdbloice/augmentor易於使用的圖像增強（無法增強關鍵點）
• https://github.com/facebookresearch/augly用於音頻，圖像，文本和視頻的數據增強庫。

數據編排

• https://github.com/prefecthq/prefect
• https://github.com/dagster-io/dagster
• https://github.com/ploomber/ploomber ploomber是構建數據管道⚡️的最快方法。使用您喜歡的編輯器（Jupyter，Vscode，Pycharm）進行交互性開發，並在沒有代碼更改的情況下（Kubernetes，airflow，AWS Batch和Slurm）部署☁️。
• https://github.com/orchest/orchest構建數據管道，使用用戶友好的UI的簡便方法

數據可視化

• https://github.com/gradio-app/gradio在3分鐘內為您的機器學習模型創建UIS。 UI是一個可以與任何人，甚至非技術人員共享的網絡應用程序。我喜歡的功能之一是示例組件。它很好地表明了該應用程序用於機器學習用例。
• https://github.com/streamlit/streamlit簡化會在幾分鐘內將數據腳本變成可共享的Web應用程序。所有人都在python。全部免費。無需前端經驗。
• https://github.com/oegedijk/explainerdashboard迅速構建可解釋的AI儀表板，顯示所謂的“ BlackBox”機器學習模型的內部工作。
• https://github.com/lux-org/lux只需在jupyter筆記本中打印一個數據框，Lux建議一組可視化，以突出數據集中的有趣趨勢和模式。
• https://github.com/slundberg/shap shap shap shap（Shapley添加說明）是一種遊戲理論方法，可以解釋任何機器學習模型的輸出。
• https://github.com/comet-ml/kangas kangas是一種用於探索，分析和可視化大規模多媒體數據的工具。它提供了一個直接的Python API，用於記錄大量數據，以及一個直觀的視覺界面，用於對數據集執行複雜的查詢。

高參數調整

在開始之前，請閱讀此博客文章以了解一般搜索的動機：https：//www.determined.ai/blog/stop-doing-iterative-titerative-model-development

睜開眼睛以進行搜索驅動的開發。它會改變你。主要好處是不會遇到挫折。只允許進度和改進。想像一下，每天都在工作和進步，而不是因為新解決方案不起作用，而不是向後退回。這種保證的進度是搜索驅動的開發對您的影響。將其應用於優化中的所有內容，而不僅僅是機器學習。

由於並行化（在許多機器上分佈式調諧），靈活性（可以優化任意目標並允許調諧數據集參數），SOTA調諧算法庫（例如，超級頻繁，bohb，bohb，bohb，bohb，pbt，pbt，asha等），我的最佳偏好是確定，射線調整和Optuna（在許多機器上分佈式調諧），靈活性（可以優化任意目標並允許調節數據集參數），結果可視化/分析/分析/分析工具。

• https://github.com/determined-ai/determined確定是一個開放源深度學習培訓平台，使建築模型快速輕鬆。 IMO，最好是廉價地調整深度學習模型的超級參數，因為它將在具有有希望的指標和沒有的早期停止模型的模型上訓練許多時代。他們支持AWS和大多數雲服務作為一流的公民。他們還支持可享有的實例，這又是便宜的。完成培訓後，所有GPU實例都會自動關閉。如果您想節省大規模培訓的錢，請堅定不移。
• https://docs.ray.io/en/master/tune/index.html Ray Tune是一個用於實驗執行和任何規模的實驗執行和超參數調整的python庫。如果您正在尋找分佈式調整，Ray Tune可能是那裡最嚴重的框架。
• https://github.com/optuna/optuna自動超參數優化軟件框架（框架agnostic，define by-run）
• https://github.com/pyhopper/pyhopper pyhopper是一個超參數優化器，專門用於機器學習研究和企業中出現的高維問題。這個傢伙聲稱它比Optuna快10倍。這是真的嗎？我們不知道，直到我們嘗試！
• https://github.com/keras-team/keras-tuner易於使用，可易於使用，可為keras提供易於分發的超參數優化；在這裡閱讀其文章
• https://github.com/autonomio/talos talsorflow（Tensorflow）（tf.keras）和pytorch
• https://github.com/maxpumperla/hyperas keras + hyperopt：一個非常簡單的包裝器，用於方便的超參數優化
• https://github.com/fmfn/bayesianoptimization用高斯流程實現全球優化的Python。
• https://github.com/hyperopt/hyperopt
• https://github.com/mmsu-coinlab/pymoo多目標優化
• https://github.com/google/vizier開源Vizier：可靠且靈活的黑盒優化。 Oss Vizier是基於Google Vizier的基於Python的一項用於黑盒優化和研究的服務，Google Vizier是最早旨在大規模運行的超參數調諧服務之一。

汽車

讓機器學習，而無需進行功能工程，模型選擇和超參數調整的任務。讓機器為您執行機器學習！

就我個人而言，如果我有一個表格數據集，我會首先嘗試FLAML和MLJAR，尤其是如果您想快速工作時。如果您想嘗試梯度提升框架，例如XGBoost，LightGBM，Catboost等，但是您不知道哪種框架最有效，我建議您首先嘗試Automl，因為它將在內部嘗試前面提到的梯度增強框架。

• 2021年，最佳OpenSource Automl框架在介質上包含策劃的OpenSource Automl框架列表。
• https://github.com/dabl/dabl數據分析基線庫；快速訓練一個簡單的模型以用作性能基線
• https://www.automl.org/查找策劃的汽車庫和研究列表
• https://github.com/jhfjhfj1/autokeras在撰寫本文（2018年8月24日）時，該庫只是為時過早，因為它只能進行分類。
• https://github.com/automl/auto-sklearn/不在Windows上運行，您需要安裝WSL（Windows subsystem for Linux）才能使用它
• https://github.com/epistasislab/tpot運行數千個機器學習管道並為您輸出代碼
• https://github.com/climbsrocks/auto_ml閱讀作者對TPOT和Auto-Sklearn之間的比較的看法
• https://github.com/microsoft/flaml快速而輕巧的汽車具有具有成本效益的經濟優化算法。
• https://github.com/mljar/mljar-supersped with自動化的機器學習python軟件包，該軟件包可與表格數據一起使用。我喜歡它生成可視化報告（在解釋模式下），並為您提供額外功能，例如黃金功能和K-均值功能。
• https://github.com/awslabs/autogluon automl用於文本，圖像和表格數據。但它不支持Windows（截至2021年10月11日）。
• https://github.com/autoviml/auto_viml auto_viml旨在構建所需變量最少的高性能可解釋模型。

模型體系結構

在其領域最先進的體系結構。

• https://github.com/rwightman/pytorch-image-models pytorch型號，腳本，預處理的重量 - 重新連接，resnet，resnext，EfficityNetv2，nfnetv2，nfnet，nfnet，Vision Transformer，Mixnet，Mixnet，Mobilenet-v3/v2/v2/v2，regnet，regnet，dpn，dpn，dpn，dpn，dpn，csspnet＆cors＆cors＆rofe＆rofe。它通常稱為timm 。
• https://modelzoo.co/模型動物園
• https://github.com/tensorflow/models
• 洋紅色：機器智能的音樂和藝術發電
• https://github.com/phillipi/pix2pix image-to-to Image Translation使用條件對抗網； pix2pix的TensorFlow端口;觀看這項工作的介紹：學會沒有老師看見
• Wav2letter Facebook AI Research的自動語音識別工具包
• https://github.com/huggingface/transformers state-of-the-the-art天然語言處理tensorflow 2.0和pytorch
• https://github.com/huggingface/diffusers？擴散器：Pytorch中圖像和音頻產生的最新擴散模型
• https://bigscience.huggingface.co/blog/bloom從BigScience LLM打開大型語言模型。文章
• https://github.com/hpcaitech/colossalai文章
• https://stability.ai/blog/stable-diffusion-public-rease穩定擴散是一種模型，可以從簡短的文本描述中生成高質量的圖像。這是一個簡短的Twitter線程，解釋了為什麼它如此出色。這是一個包含資源的線程，以了解有關擴散模型的更多信息。

及時的工程

大型語言模型（LLM）等GPT-3具有功能強大，但是需要提示它們生成所需的輸出。這是及時工程的地方。及時工程是設計提示的過程，可用於生成所需的輸出。

• https://github.com/hwchase17/langchain這是一個Python軟件包，用於通過合成性通過LLM構建應用程序。
• https://dust.tt/一種基於Web的工具，用於設計和部署大型語言模型應用程序。
• https://github.com/jerryjliu/gpt_index gpt Index是一個由使用LLMS創建的一組數據結構組成的項目，可以使用LLMS進行遍歷以回答查詢。
• https://github.com/xpitfire/symbolicai/組成可區分的編程庫：通過我們的象徵性API在Python中利用我們的符號API構建應用程序核心的應用程序。

不錯的博客和視頻博客要關注

• https://www.pyimagesearch.com/經常更新有關OpenCV和深度學習的博客
• http://colah.github.io/美麗的可視化解釋
• https://karpathy.github.io/他在深網上教了一些課程，並曾經在特斯拉（Tesla）擔任AI主任。
• http://ruder.io sebastian Ruder的深度學習和NLP博客
• http://www.wildml.com/
• https://machinelearningmastery.com/包含很多內容和美麗的網站
• Sirajology的YouTube播放列表很多密集的簡短熱鬧介紹ML
• 關於深度學習播放列表的兩分鐘論文
• Distill.Pub一種現代媒介，用於介紹機器學習中的研究
• Deeplearn.org深學習監視器；有關深度學習論文和推文的新聞
• Datarevenue博客大部分有關MLOP
• https://www.youtube.com/c/andrejkarpathy Andrej Karparthy在離開Tesla Autopilot團隊以教人們如何以“拼寫”樣式實現神經網絡後，創建了一個新的YouTube頻道。
• https://e2eml.school/blog.html端到端機器學習博客，該博客詳細介紹了許多主題，例如變形金剛的工作方式。
• https://jalammar.github.io/可視化機器一次學習一個概念。他的博客包含有關ML概念（例如變壓器或穩定擴散）的插圖解釋。
• Radek Osmulski博客博客有關DL技術和策略的博客，您可以利用更快的學習速度。

有影響力的人

• 杰弗裡·欣頓（Geoffrey Hinton），通過向他的學生介紹2種革命性的技術（relu和輟學），被稱為深度學習的教父。這些技術解決了深度神經網絡的消失梯度和概括問題。
• Yann Lecun，他發明了CNN（卷積神經網絡），這種網絡在當今的計算機視覺開發人員中確實很受歡迎。目前在Meta工作。
• Yoshua Bengio是另一位深度學習的認真教授，您可以在這裡觀看他的TEDX演講（2017年）
• 安德魯·諾格（Andrew Ng）發現，GPU可以更快地學習深度學習。他在Coursera教授了2門著名的在線課程，機器學習和深度學習專業化。特定類型的RNN）
• Google Brain Engineer Jeff Dean，觀看他的TEDX演講
• 伊恩·古德福（Ian Goodfellow），他發明了gans（生成對抗網絡），是一名OpenAi工程師
• 大衛·西爾弗（David Silver
• DepMind的Demis Hassabis首席執行官，已經對Alphago和強化學習成就進行了許多談判
• Andrej Karparthy他教Convnet課，寫Convnetjs並為DL社區創作了很多內容，他還寫了一個博客（請參閱不錯的博客和視頻博客以遵循部分）
• 佩德羅·多明斯（Pedro Domingos）他寫了《大師算法》一書：對終極學習機器的追求將如何重塑我們的世界，在這裡觀看他的TEDX談話
• Emad Mostaque他是穩定性的創始人
• 山姆·奧特曼（Sam Altman）是Openai的總裁

尖端的研究出版商

竊取智能計算機科學家引入的最新技術（可能是您）。

• http://www.arxiv-sanity.com/ arxiv理智保障
• https://research.facebook.com/ai/
• http://research.google.com/pubs/machineintelligence.html
• https://deepmind.com/research/ DeepMind Company的研究
• https://www.openai.com/
• https://www.openai.com/requests-for-research/
• 每個ML任務的最新表現
• 所有機器學習問題的最新結果
• https://stability.ai/正在發布許多開源高質量模型。
• https://twitter.com/ai__pub ai論文和AI研究對技術人員解釋了。
• https://twitter.com/_akhaliq是一個Twitter帳戶，它在AI領域發表了最新的研究論文。

從業者社區

• https://www.kaggle.com
• https://gym.openai.com
• https://universe.openai.com/
• /R/機械學習
• https://www.facebook.com/groups/deepnetgroup/

未來研究的周到見解

• 為什麼AI比我們想像的要難
• Yoshua Bengio的意識
• 深度學習不能做什麼？深度學習面臨的問題列表
• 佩德羅·多明斯（Pedro Domingos）：“主算法” - 在Google上談話
• AI革命：超級智能之路
• https://ai100.stanford.edu/2016-Report
• 為什麼深度學習的工作如此好？ - 深神經網絡與宇宙性質之間的非凡聯繫
• 這是當今AI面臨的三個最大問題
• 四個問題：Geoff Hinton Geoff Hinton被稱為“神經網絡的教父”
• 最新的深度學習進展將啟用哪些產品突破？ - Quora
• 液體神經網絡

未分類

• 人工智能：一種現代方法（在線書）
• 現代遊戲AI原理
• Scipy講義
• https://www.youtube.com/user/aicourses
• 神經科學的基礎知識了解我們的大腦的工作原理，以便您可以發現新的深度學習突破
• 貝葉斯方法的黑客方法，貝葉斯方法的簡介 +概率編程，具有計算/理解優先，數學秒的觀點。全部屬於純python;）

其他大列表

• https://github.com/ahmedbahaelin/from-0-to-research-scientist-resources-guide本指南被指定給具有基本編程知識或計算機科學背景的任何人，他們有興趣成為具有深度學習和NLP的研究科學家。
• https://www.mrdbourke.com/ml-resources/丹尼爾·伯克（Daniel Bourke）
• Damien Benveniste在Facebook上的MLOPS課程和書籍清單
• https://github.com/collections/machine-learning
• https://github.com/topics/machine-learning
• https://github.com/topics/mlops
• https://github.com/gokumohandas/madewithml加入30k+開發人員學習如何用ML負責任地交付價值。
• https://papers.labml.ai/papers/daily
• https://github.com/alirezadir/production-level-deep-learning
• https://github.com/jindongwang/transferlearning
• https://github.com/kmario23/deep-learning-drizzle
• https://github.com/zuzoovn/machine-learning-for-software-wargineers
• https://github.com/josephmisiti/awesome-machine-learning
• https://github.com/ujjwalkarn/machine-learning-tutorials
• https://github.com/terryum/awesome-deep-learning-papers
• https://github.com/christoschristofidis/awesome-deep-learning
• https://github.com/developer-y/cs-video-courses#machine-learning
• 傑里米·D·傑克遜（Jeremy D. Jackson）的深度學習資源
• https://github.com/songrotek/deep-learning-papers-reading-roadmap
• https://github.com/aikorea/awesome-rl很棒的強化學習
• https://github.com/artix41/awesome-transfer-learning很棒的轉移學習
• https://github.com/heejkoo/awesome-diffusion-models很棒的擴散模型
• https://github.com/renumics/awesome-open-data-centric-ai-centric AI是系統地設計用於構建AI系統的數據的實踐。
• https://github.com/labmlai/annotated_deep_learning_paper_implementations
• https://github.com/ashishpatel26/500-ai-machine-learning-deep-learning-computer-vision-nlp-projects-with-code

我很困惑，鏈接太多，我從哪裡開始？

如果您是初學者，並且想開始我的建議，請閱讀此問題：＃4

免責聲明

從現在開始，此列表將緊湊和對我自己的現實ML旅程的看法，我只會放置我認為對我和大多數人的真正有益的內容。所有不夠好（在任何方面）的材料和工具將逐漸刪除以應對信息超負荷，包括：

• 太難沒有太多直覺；不切實際的內容
• 沒有現實世界實踐的理論太多
• 低品質和非結構化材料
• 我不考慮參加自己的課程
• 過於利基的知識或工具，沒有多少人可以在自己的作品中使用它，例如深夢或無監督域的適應性（因為如果您想在工作中使用它，則可以使用它）。
• 被其他工具擊敗的工具；不再是最先進的
• 看起來很快就會死亡的商業工具
• 已經過時或不維護的項目

注意：每個鏈接沒有特定的等級。它們出現的順序沒有傳達任何含義，也不應以不同的方式對待。

如何為此列表做出貢獻

1. 分叉此存儲庫，然後應用您的更改。
2. 提出拉請請求，如果需要，請標記我。
3. 就是這樣。如果您的版本有用，我將合併。

或者，如果您沒有時間發送拉動請求，則可以提交一個新問題，其中包含您要我包含的資源。

您要包含的資源應該可以自由學習。

---