ClassGPT

classgpt

我的演讲幻灯片

由LlamainDex和Langchain提供支持的简化建筑。

使用Openai的最新Chatgpt API。

受雅典启发

应用演示

demo.mp4

这是如何工作的

1. 用PYPDF解析PDF
2. 使用LlamainDex的GPTSimpleVectorIndex进行索引构建
   • text-embedding-ada-002模型用于创建嵌入
   • 请参阅矢量商店索引页面以了解更多信息
   • 这是一个示例索引
3. 索引和文件存储在S3上
4. 查询索引
   • 使用最新的Chatgpt型号gpt-3.5-turbo

用法

配置和秘密

1. 配置AWS（QuickStart）

    aws configure

2. 创建一个具有唯一名称的S3存储桶

3. 在代码库中更改存储桶名（查找bucket_name = "classgpt"将其创建的任何内容。

4. 重命名[.env.local.example]为.env并添加您的OpenAI凭据

本地

1. 创建Python Env

    conda create -n classgpt python=3.9
    conda activate classgpt

2. 安装依赖项

    pip install -r requirements.txt

3. 运行简化应用

    cd app/
    streamlit run app/01_❓_Ask.py

Docker

替代方案，您可以使用Docker

    docker compose up

然后打开一个新标签并导航到http：// localhost：8501/

托多

• 应用的本地模式（无S3）
  • 全局变量use_s3以在本地和S3模式之间切换
• 部署应用程序简化云
  • 有openai键的输入框
  • 使用pyarrow local FS存储文件
• 更新兰链更新的代码
• 自定义提示和调整设置
  • 创建一个用于调整模型参数的设置页面并提供自定义提示示例
• 增加查询多个文件的能力
  • 组成多个讲座的索引，并查询所有讲座
  • 循环浏览所有现有索引，创建未创建的索引，然后将它们组合在一起
  • 参考
    • 合成性 - Llamaindex文档
    • gpt_index/composableIndices.ipynb
    • 在多个文档上测试复杂查询

常问问题

令牌

可以将令牌视为单词。在API处理提示之前，输入将分解为令牌。这些令牌并不能准确地剪切在单词启动或结束的位置 - 令牌可以包含落后空间，甚至包括子字。以下是一些有用的经验法则，可用于理解象征的长度：

• 1个令牌〜= 4个英文字符
• 1个令牌〜=¾单词
• 100令牌〜= 75个单词
• 1-2句〜= 30令牌
• 1段〜= 100令牌
• 1,500个单词〜= 2048令牌

尝试OpenAI令牌工具

来源

嵌入

嵌入是浮点数的向量（列表）。两个向量之间的距离测量其相关性。较小的距离表明高相关性和较大的距离表明低相关性。

对于text-embedding-ada-002 ，成本为$ 0.0004 / 1K令牌或3000页 /美元

• 嵌入 - OpenAI API
• 什么是单词和句子嵌入？

型号

对于gpt-3.5-turbo型号（Chatgptapi）的成本为$0.002 / 1K tokens

对于text-davinci-003型号，成本为$0.02 / 1K tokens

• 聊天完成 - OpenAI API

参考

简化

• 增加st.file_uploader的上传限制
• St.Cache_Resource-简化文档
• 会话状态
• hayabhay/hisper-ui：简化了openai的耳语的UI

倾向

• 简化部署指南（WIKI） - 部署 - 简化
• 如何将简化应用程序部署到AWS？第3部分

Llamaindex

• LlamainDEX使用模式
• 保存索引

加载数据

• PDF加载器
• Llama-Hub Github仓库
• 文档类
• PDFReader类

多模式

• llama_index/multimodal.ipynb在main

chatgpt

• GPT_INDEX/SIMPLEINDEXDEMO-CHATGPT.IPYNB

Langchain

• gpt_index/langchaindemo.ipynb
• Openaichat

boto3

• boto3 file_upload是否检查文件是否存在
• Boto 3：资源与客户
• 将JSON写入S3存储桶中

Docker的东西

• 亚马逊网络服务 - 将AWS凭据传递给Docker容器的最佳方法是什么？
• 由于：错误：找不到生锈编译器
• Linux-在Docker中安装Rust Toolchain时，bash source命令不起作用
• 软件安装 - 如何在没有“您要继续[Y/N]的情况下安装APT的软件包？”迅速的？ - 问Ubuntu
• 如何在Docker容器中使用Sudo？