300days__generativeai
該存儲庫300days_generativeai專門致力於300天的持續學習，專注於生成AI，每天研究不同的書籍和研究論文。我將重新訪問過去的學習，更新我的理解，並深入研究生成AI的複雜性。
| 不 | 書 | 地位 |
|---|
| 1 | 掌握Pytorch：創建和部署深度學習模型從CNN到多模式，LLM及其他地區（Ashish Ranjan Jha） | 正在進行 |
| 2 | 自然語言處理的轉移學習（Paul Azunre） | |
| 3 | 建立大型語言模型（從頭開始）（MEAP）（Sebastian Raschka） | 正在進行 |
| 4 | 使用Pytorch學習生成AI（Mark Liu） | |
| 5 | 生成AI的作用（MEAP V02）（Amit Bahree） | |
| 6 | 了解Langchain：制定未來派語言模型應用程序的綜合指南（Jeffery Owens） | |
| 7 | 開發人員的大型語言模型安全劇本（史蒂夫·威爾遜） | |
| 不。 | 研究論文 | 話題 | 地位 |
|---|
| 1 | 一種新型的深Lenet-5卷積神經網絡模型，用於圖像識別 | Lenet-5 | ✅完成 |
| 2 | 卷積更深入 | Googlenet | ✅完成 |
300 daysofgenerativeai的第一天
- 在今天關於掌握Pytorch的會議中，我專注於深度學習的基本方面，尤其是通過“與Pytorch：60分鐘的閃電戰”教程的“深度學習”教程。我了解了神經網絡體系結構，包括完全連接，卷積和經常性層，並探索了Pytorch的關鍵模塊，例如Torch.Autograd用於自動差異化和用於構建網絡的Torch.nn。我練習了前後傳播，損失計算和梯度下降，最終是在簡單的前饋神經網絡的構建中。在即將舉行的會議上，我的議程包括深入了解卷積神經網絡（CNN）的力量，它們的建築發展以及對Lenet，Alexnet，Alexnet，VGG，Googlenet，Inception V3，Resnet，Resnet，densenet和Entivicenet和Evelationnets等模型等模型的動手開發。
- 其他資源：
300 daysofgenerativeai的第2天
- 在今天關於掌握Pytorch的會議中，我進行了一次簡短但富有成效的會議，以深入參與CNN體系結構。我探討了為什麼CNN對於圖像分類和對象檢測等任務如此有效，突出了它們的參數效率，自動特徵提取和分層學習。我回顧了各種建築創新，例如空間，深度，寬度和基於多路徑的CNN。我還研究了Alexnet在Pytorch中的實現，重點是其層結構以及它如何利用輟學和激活功能。此外，我注意到Pytorch的火炬套件中的各種預定的CNN型號的可用性，包括Alexnet，VGG，Resnet等。
300 daysofgenerativeai的第3天
- 在今天關於掌握Pytorch的會話中，我為圖像分類任務準備了一個數據集，為預訓練的Alexnet模型實施了微調過程，並解決了在培訓期間出現的確定性行為問題。我創建了數據加載程序，定義的助手功能用於可視化和模型進行微調，並修改了預訓練模型的最後一層以匹配我數據集中的類數量。在微調過程中，我遇到了與使用
adaptive_avg_pool2d_backward_cuda操作有關的警告，該操作沒有確定性的實現。為了解決這個問題，我了解了在Pytorch中啟用確定性行為的不同方法，例如在有問題的操作中選擇性地禁用warn_only=True ，或在確定性算法啟用確定性的經驗時，在應用深度學習技術時，可以使我更深入地了解圖像分類問題。
300 dayofgenerativeai的第4天
- 在今天關於掌握Pytorch的會議中，我了解到，Googlenet（也稱為Inception V1）是一個開創性的捲積神經網絡架構，引入了Inception模塊，該模塊具有具有不同的螺旋式捲積層，具有不同的內核尺寸（1x1、3x3、5x3），可捕獲多尺寸的特徵。我發現1x1卷積對於降低維度至關重要，從而使模型可以通過降低特徵圖的深度而不改變空間維度來保持效率。此外，我了解到GoogleNet在輸出層之前採用了全球平均池，以最大程度地減少參數並增強魯棒性，以防止過度擬合。我對Inception V3的探索向我展示了它如何建立在原始設計的基礎上，並具有更複雜的模塊和其他層，從而改善了性能。總體而言，我現在對Googlenet和Inception V3中的創新技術有了更深入的了解，包括Inception模塊，1x1卷積和全球平均池，它們在計算機視野領域都顯著提高了。
300Daysofgenerativeai的第5天
- 在今天關於掌握Pytorch的會議中，我致力於實施Googlenet架構，重點是網絡中多個啟動模塊的構建和集成。我完善了每個啟動模塊的參數，以正確反映預期的配置，其中包括調整捲積和池層以在各種尺度上有效提取特徵。此外，我將初始卷積層與批處理歸一化和恢復激活結合在一起，然後將最大池層層用於下採樣。在製作模型時，我還考慮了輔助分類器的重要性，輔助分類器通常包含在Googlenet架構中，以通過提供中間監督來幫助減輕消失的梯度問題。這些分類器是主要分類器的較小版本，附加到早期層，它們提高了網絡在訓練過程中學習有意義的功能的能力。
300 dayofgenerativeai的第6天
- 在今天的會議中，我閱讀了“圖像識別的新型深Lenet-5卷積神經網絡模型”，該模型提出了旨在提高圖像識別能力的傳統Lenet-5體系結構的增強版本。作者解決了常規機器學習和早期CNN模型的局限性，例如高硬件要求和緩慢的收斂速度。他們的新方法簡化了網絡結構，同時提高了訓練速度並將激活函數修改為對數校正線性單元（L Relu）。 MNIST數據集的實驗結果表明，改進的模型達到的識別率超過98％，顯著超過其他最先進的算法，從而為圖像識別技術的進步提供了寶貴的參考。
300 daysofgenerativeai的第7天
- 在今天的塞巴斯蒂安·拉斯卡卡（Sebastian Raschka）的“建立大型語言模型（從頭開始）”的會議中，我深入研究了大語言模型（LLMS）及其構造的基礎。我探索了包括編碼器和解碼器的變壓器體系結構，強調了自我發項機制，該機制使模型能夠專注於輸入文本的不同部分。我檢查了構建LLM的兩個關鍵階段：在大型的原始文本語料庫上進行下一個字預測的預處理，並在較小的標籤數據集上進行針對特定任務的填充。此外，我了解了諸如GPT及其新興行為之類的模型的生成能力，這使他們能夠執行各種任務，例如翻譯和分類，即使沒有針對這些任務的明確培訓。
