ClassGPT

classgpt

我的演講幻燈片

由LlamainDex和Langchain提供支持的簡化建築。

使用Openai的最新Chatgpt API。

受雅典啟發

應用演示

demo.mp4

這是如何工作的

1. 用PYPDF解析PDF
2. 使用LlamainDex的GPTSimpleVectorIndex進行索引構建
   • text-embedding-ada-002模型用於創建嵌入
   • 請參閱矢量商店索引頁面以了解更多信息
   • 這是一個示例索引
3. 索引和文件存儲在S3上
4. 查詢索引
   • 使用最新的Chatgpt型號gpt-3.5-turbo

用法

配置和秘密

1. 配置AWS（QuickStart）

    aws configure

2. 創建一個具有唯一名稱的S3存儲桶

3. 在代碼庫中更改存儲桶名（查找bucket_name = "classgpt"將其創建的任何內容。

4. 重命名[.env.local.example]為.env並添加您的OpenAI憑據

本地

1. 創建Python Env

    conda create -n classgpt python=3.9
    conda activate classgpt

2. 安裝依賴項

    pip install -r requirements.txt

3. 運行簡化應用

    cd app/
    streamlit run app/01_❓_Ask.py

Docker

替代方案，您可以使用Docker

    docker compose up

然後打開一個新標籤並導航到http：// localhost：8501/

托多

• 應用的本地模式（無S3）
  • 全局變量use_s3以在本地和S3模式之間切換
• 部署應用程序簡化雲
  • 有openai鍵的輸入框
  • 使用pyarrow local FS存儲文件
• 更新蘭鏈更新的代碼
• 自定義提示和調整設置
  • 創建一個用於調整模型參數的設置頁面並提供自定義提示示例
• 增加查詢多個文件的能力
  • 組成多個講座的索引，並查詢所有講座
  • 循環瀏覽所有現有索引，創建未創建的索引，然後將它們組合在一起
  • 參考
    • 合成性 - Llamaindex文檔
    • gpt_index/composableIndices.ipynb
    • 在多個文檔上測試複雜查詢

常問問題

令牌

可以將令牌視為單詞。在API處理提示之前，輸入將分解為令牌。這些令牌並不能準確地剪切在單詞啟動或結束的位置 - 令牌可以包含落後空間，甚至包括子字。以下是一些有用的經驗法則，可用於理解像徵的長度：

• 1個令牌〜= 4個英文字符
• 1個令牌〜=¾單詞
• 100令牌〜= 75個單詞
• 1-2句〜= 30令牌
• 1段〜= 100令牌
• 1,500個單詞〜= 2048令牌

嘗試OpenAI令牌工具

來源

嵌入

嵌入是浮點數的向量（列表）。兩個向量之間的距離測量其相關性。較小的距離表明高相關性和較大的距離表明低相關性。

對於text-embedding-ada-002 ，成本為$ 0.0004 / 1K令牌或3000頁 /美元

• 嵌入 - OpenAI API
• 什麼是單詞和句子嵌入？

型號

對於gpt-3.5-turbo型號（Chatgptapi）的成本為$0.002 / 1K tokens

對於text-davinci-003型號，成本為$0.02 / 1K tokens

• 聊天完成 - OpenAI API

參考

簡化

• 增加st.file_uploader的上傳限制
• St.Cache_Resource-簡化文檔
• 會話狀態
• hayabhay/hisper-ui：簡化了openai的耳語的UI

傾向

• 簡化部署指南（WIKI） - 部署 - 簡化
• 如何將簡化應用程序部署到AWS？第3部分

Llamaindex

• LlamainDEX使用模式
• 保存索引

加載數據

• PDF加載器
• Llama-Hub Github倉庫
• 文檔類
• PDFReader類

多模式

• llama_index/multimodal.ipynb在main

chatgpt

• GPT_INDEX/SIMPLEINDEXDEMO-CHATGPT.IPYNB

Langchain

• gpt_index/langchaindemo.ipynb
• Openaichat

boto3

• boto3 file_upload是否檢查文件是否存在
• Boto 3：資源與客戶
• 將JSON寫入S3存儲桶中

Docker的東西

• 亞馬遜網絡服務 - 將AWS憑據傳遞給Docker容器的最佳方法是什麼？
• 由於：錯誤：找不到生鏽編譯器
• Linux-在Docker中安裝Rust Toolchain時，bash source命令不起作用
• 軟件安裝 - 如何在沒有“您要繼續[Y/N]的情況下安裝APT的軟件包？”迅速的？ - 問Ubuntu
• 如何在Docker容器中使用Sudo？