llm hands on

大型語言模型（LLM）動手

參考書：掌握大語言模型[Google Books Preview] [GitHub鏈接]
代碼說明：鏈接

內容

基於規則的模型

• 使用正則表達式提取電話號碼
• 使用語音標籤的一部分進行模式匹配
• 將特定令牌與特定屬性匹配

統計語言模型

• 簡單實施Bigram語言模型
• 句子的ngram

數據預處理

• 基本數據清潔
• 實體檢測
• 匿名化
• 文本預處理示例
• 語音部分（POS）標籤
• 依賴解析

神經網絡

• 饋電神經網絡解決XNOR問題
• IMDB電影評論情感分類的LSTM
• GRU用於IMDB電影評論情感分類
• IMDB電影評論情感分類的雙向RNN
• 基於CNN的語言模型體系結構

基於變壓器的模型

• 自我注意力可視化
• 位置編碼

培訓大語言模型

• 為文本生成設計一個小的LLM
• 設計角色級文本生成模型
• 設計單詞級文本生成模型
• 使用大數據集設計單詞級文本生成模型
• 使用T5的文本生成模型

微調大語言模型

• 微調gemma 2 2b-it模型從擁抱臉

霍拉馬簡介

• 使用Ollama Python圖書館推導美洲駝3.2型號
• 使用Ollama Python庫推斷Gemma 2模型
• 使用Ollama Python圖書館推導Llava模型

蘭班概論

• 使用Langchain和Ollama推斷美洲駝3.2型號
• 使用Langchain和Ollama推斷Llava模型

檢索授權一代（RAG）

• 使用LlamainDex和Ollama設計檢索功能的一代（RAG）管道
• 設計Gemma 2模型的檢索型生成一代（RAG）管道

及時的工程

• 提示類型