300days__generativeai
このリポジトリ、300days_generativeaiは、生成AIに焦点を当てた300日間の継続的な学習に専念し、毎日さまざまな本や研究論文を研究しています。過去の学習を再訪し、理解を更新し、生成的なAIの複雑さをより深く掘り下げます。
| いいえ | 本 | 状態 |
|---|
| 1 | Pytorchのマスター：CNNSからマルチモーダルモデル、LLMS、およびBeyond（Ashish Ranjan Jha）にディープラーニングモデルを作成および展開する | 進行中 |
| 2 | 自然言語加工のための転送学習（Paul Azunre） | |
| 3 | 大きな言語モデルを構築する（ゼロから）（MEAP）（Sebastian Raschka） | 進行中 |
| 4 | Pytorch（Mark Liu）で生成AIを学ぶ | |
| 5 | 生成AIアクション（MEAP V02）（Amit Bahree） | |
| 6 | Langchainの理解：未来的な言語モデルアプリケーションを作成するための包括的なガイド（Jeffery Owens） | |
| 7 | 大規模な言語モデルセキュリティのための開発者のプレイブック（Steve Wilson） | |
| いいえ。 | 研究論文 | トピック | 状態 |
|---|
| 1 | 画像認識のための新しいディープレネット5畳み込みニューラルネットワークモデル | レネット-5 | ✅完了しました |
| 2 | 畳み込みにより深く入ります | googleNet | ✅完了しました |
300daysofgenerativeaiの1日目
- Pytorchの習得に関する今日のセッションでは、特に「Pytorchとの深い学習：60分のBlitz」チュートリアルを通して、深い学習の基本的な側面に焦点を当てました。完全に接続された、畳み込み、および再発性の層を含むニューラルネットワークアーキテクチャについて学び、自動分化のためのトーチとトーチのautogradなどのPytorchの重要なモジュールを調査しました。私は前方および後方の伝播、損失計算、勾配降下を実践し、単純なフィードフォワードニューラルネットワークの構築に至りました。今後のセッションでは、私のアジェンダには、畳み込みニューラルネットワーク（CNNS）の力、その建築の進化、およびレネット、AlexNet、VGG、GoogleNet、Inception V3、Resnet、Densenet、およびEfficateNetsなどのモデルの実践的な開発が含まれています。
- 追加リソース：
300daysofgenerativeaiの2日目
- Pytorchの習得に関する今日のセッションでは、深いCNNアーキテクチャに短いが生産的なセッションが飛び込みます。 CNNが画像分類やオブジェクト検出、パラメーター効率、自動機能抽出、階層学習などのタスクに非常に効果的である理由を調査しました。空間、深さ、幅、マルチパスベースのCNNなどのさまざまな建築革新をレビューしました。また、PytorchでのAlexnetの実装を調べ、その層構造とドロップアウトと活性化機能を活用する方法に焦点を当てました。さらに、AlexNet、VGG、ResNetなどを含むPytorchのTorchvisionパッケージで、さまざまな事前定義されたCNNモデルの可用性に注目しました。
300daysofgenerativeaiの3日目
- Pytorchのマスターに関する今日のセッションでは、画像分類タスクのデータセットを準備し、事前に訓練されたAlexNetモデルの微調整プロセスを実装し、トレーニング中に発生した決定論的行動の問題に対処しました。データローダーを作成し、視覚化とモデルの微調整のためのヘルパー機能を定義し、事前に訓練されたモデルの最終層を変更して、データセットのクラスの数と一致させました。微調整プロセス中に、
adaptive_avg_pool2d_backward_cuda操作の使用に関連する警告が発生しましたが、これには決定論的な実装がありません。これに対処するために、問題のある操作の決定論を選択的に無効にしたり、決定論的アルゴリズムを有効にしたりするときにwarn_only=Trueオプションを使用するなど、Pytorchの決定論的行動を有効にするためのさまざまなアプローチについて学びました。この実践的なエクスペリエンスは、画像分類の問題に深い学習技術を適用するときの実用的な考慮事項をより深く理解してくれました。
300daysofgenerativeaiの4日目
- Pytorchのマスターに関する今日のセッションでは、Inception V1としても知られるGoogleNetは、マルチスケール機能をキャプチャするためのカーネルサイズ（1x1、3x3、5x5）の並行畳み込み層を特徴とするインセプションモジュールを導入する画期的な畳み込みニューラルネットワークアーキテクチャであることを学びました。私は、1x1の畳み込みが次元低下に不可欠であることを発見し、空間寸法を変更せずに機能マップの深さを減らすことでモデルが効率を維持できるようにしました。さらに、GoogleNetは出力層の前にグローバルな平均プーリングを使用してパラメーターを最小限に抑え、過剰適合に対する堅牢性を高めることを学びました。 Inception V3の探求は、より複雑なモジュールと追加のレイヤーを備えた元のデザインにどのように構築されているかを示し、パフォーマンスが向上しました。全体として、私は現在、GoogleNetとInception V3の革新的な技術をより深く理解しています。これには、コンピュータービジョンの分野を大幅に進めたインセプションモジュール、1x1畳み込み、グローバルな平均プーリングが含まれます。
300daysofgenerativeaiの5日目
- Pytorchのマスターに関する今日のセッションでは、ネットワーク内の複数のインセプションモジュールの構築と統合に焦点を当てたGoogleNetアーキテクチャの実装に取り組みました。各Inceptionモジュールのパラメーターを改良して、意図した構成を正しく反映しました。これには、さまざまなスケールで機能を効率的に抽出するための畳み込みレイヤーとプーリングレイヤーの調整が含まれます。さらに、初期の畳み込み層をバッチの正規化とリリューアブタクト化に組み込み、続いてダウンサンプリング用の最大プーリングレイヤーが続きました。モデルに取り組んでいる間、私はまた、補助分類器の重要性を考えました。補助分類器は、通常、GoogleNetアーキテクチャに含まれており、中間監督を提供することで消失グラデーションの問題を軽減するのに役立ちます。これらの分類子は、メイン分類子の小さなバージョンであり、以前のレイヤーに取り付けられており、トレーニング中に意味のある機能を学習するネットワークの能力を向上させます。
300daysofgenerativeaiの6日目
- 今日のセッションでは、「画像認識のための新しいディープレネット5畳み込みニューラルネットワークモデル」を読みました。これは、画像認識機能の改善を目的とした従来のLENET-5アーキテクチャの拡張バージョンを提案しています。著者は、従来の機械学習の制限と、高いハードウェア要件や収束速度の遅いなどの以前のCNNモデルに対処しています。彼らの新しいアプローチは、トレーニング速度を向上させながらネットワーク構造を簡素化し、アクティベーション関数を対数修正線形ユニット（L Relu）に変更します。 MNISTデータセットの実験結果は、改善されたモデルが98％を超える認識率を達成し、他の最先端のアルゴリズムを大幅に上回ることを示しており、それにより画像認識技術の進歩に貴重な参照を提供します。
300daysofgenerativeaiの7日目
- セバスチャン・ラシュカによる「大規模な言語モデルの構築（ゼロから）」に関する今日のセッションでは、大規模な言語モデル（LLMS）とその構造の基礎を掘り下げました。エンコーダーとデコーダーの両方を含むトランスアーキテクチャを調査し、モデルが入力テキストのさまざまな部分に焦点を合わせることができる自己関節メカニズムを強調しました。 LLMSの構築における2つの重要な段階を調べました。次のワード予測のために、大規模な生のテキストコーパスを事前に移し、特定のタスクのより小さなラベルのデータセットで微調整します。さらに、GPTやそれらの緊急行動などのモデルの生成機能について学びました。これにより、これらのタスクの明示的なトレーニングがなくても、翻訳や分類などのさまざまなタスクを実行できます。
