llm hands on

大型语言模型（LLM）动手

参考书：掌握大语言模型[Google Books Preview] [GitHub链接]
代码说明：链接

内容

基于规则的模型

• 使用正则表达式提取电话号码
• 使用语音标签的一部分进行模式匹配
• 将特定令牌与特定属性匹配

统计语言模型

• 简单实施Bigram语言模型
• 句子的ngram

数据预处理

• 基本数据清洁
• 实体检测
• 匿名化
• 文本预处理示例
• 语音部分（POS）标签
• 依赖解析

神经网络

• 馈电神经网络解决XNOR问题
• IMDB电影评论情感分类的LSTM
• GRU用于IMDB电影评论情感分类
• IMDB电影评论情感分类的双向RNN
• 基于CNN的语言模型体系结构

基于变压器的模型

• 自我注意力可视化
• 位置编码

培训大语言模型

• 为文本生成设计一个小的LLM
• 设计角色级文本生成模型
• 设计单词级文本生成模型
• 使用大数据集设计单词级文本生成模型
• 使用T5的文本生成模型

微调大语言模型

• 微调gemma 2 2b-it模型从拥抱脸

霍拉马简介

• 使用Ollama Python图书馆推导美洲驼3.2型号
• 使用Ollama Python库推断Gemma 2模型
• 使用Ollama Python图书馆推导Llava模型

兰班概论

• 使用Langchain和Ollama推断美洲驼3.2型号
• 使用Langchain和Ollama推断Llava模型

检索授权一代（RAG）

• 使用LlamainDex和Ollama设计检索功能的一代（RAG）管道
• 设计Gemma 2模型的检索型生成一代（RAG）管道

及时的工程

• 提示类型