llm hands on

大規模な言語モデル（LLM）が実践しています

参考書：大規模な言語モデルのマスター[Google Books Preview] [Githubリンク]
コード説明：リンク

コンテンツ

ルールベースのモデル

• 正規表現を使用した電話番号抽出
• 音声タグの一部を使用したパターンマッチング
• 特定のトークンを特定の属性と一致させます

統計言語モデル

• BigRam言語モデルの簡単な実装
• 文のngram

データの前処理

• 基本的なデータクリーニング
• エンティティ検出
• 匿名化
• テキストの前処理例
• パーツオブスピーチ（POS）タグ
• 依存関係解析

ニューラルネットワーク

• XNOR問題を解決するためのフィードフォワードニューラルネットワーク
• IMDBムービーレビューセンチメント分類のLSTM
• IMDB映画レビューセンチメント分類のためのGRU
• IMDBムービーレビューセンチメント分類の双方向RNN
• CNNベースの言語モデルアーキテクチャ

トランスベースのモデル

• 自己関節の視覚化
• 位置エンコーディング

大規模な言語モデルのトレーニング

• テキスト生成のために小さなLLMを設計します
• 文字レベルのテキスト生成モデルの設計
• 単語レベルのテキスト生成モデルの設計
• 大きなデータセットを使用して、単語レベルのテキスト生成モデルを設計します
• T5を使用したテキスト生成モデル

大型言語モデルの微調整

• hugging hugging faceのgemma 2 2b-itモデル

オラマの紹介

• Ollama Pythonライブラリを使用したLlama 3.2モデルの推論
• Ollama Pythonライブラリを使用したGemma 2モデルの推論
• Ollama Pythonライブラリを使用したLlavaモデルの推論

Langchainの紹介

• LangchainとOllamaを使用したLlama 3.2モデルの推測
• LangchainとOllamaを使用したLlavaモデルの推測

検索された生成（rag）

• LlamaindexとOllamaを使用した検索された高級世代（RAG）パイプラインの設計
• Gemma 2モデル向けの検索された生成（RAG）パイプラインの設計

迅速なエンジニアリング

• プロンプトの種類