ClassGPT

Classgpt

Chatgpt para meus slides de aula

Construído com o StreamLit, alimentado por Llamaindex e Langchain.

Usa a mais recente API do ChatGPT do OpenAI.

Inspirado em Atensgpt

Demonstração do aplicativo

Demo.MP4

Como isso funciona

1. Parses PDF com PypDF
2. Construção de índice com GPTSimpleVectorIndex da Llandeindex
   • O modelo text-embedding-ada-002 é usado para criar incorporação
   • Veja a página de índice da loja de vetores para saber mais
   • Aqui está um índice de amostra
3. Índices e arquivos são armazenados no S3
4. Consulte o índice
   • Usa o mais recente modelo ChatGPT gpt-3.5-turbo

Uso

Configuração e segredos

1. Configure a AWS (QuickStart)

    aws configure

2. Crie um balde S3 com um nome único

3. Altere o nome do balde na Base Code (procure bucket_name = "classgpt" para o que você criou.

4. Renomeie [.env.local.example] para .env e adicione suas credenciais do Openai

Localmente

1. Crie Python Env

    conda create -n classgpt python=3.9
    conda activate classgpt

2. instalar dependências

    pip install -r requirements.txt

3. Execute o aplicativo StreamLit

    cd app/
    streamlit run app/01_❓_Ask.py

Docker

Alternativa, você pode usar o Docker

    docker compose up

Em seguida, abra uma nova guia e navegue para http: // localhost: 8501/

PENDÊNCIA

• Modo local para aplicativo (sem S3)
  • variável global use_s3 para alternar entre o modo local e S3
• Implante de aplicativo para simplitar nuvem
  • Tenha caixa de entrada para a tecla OpenAi
  • Usa o PYARROW LOCAL FS para armazenar arquivos
• Código de atualização para nova atualização de Langchain
• Prompts personalizados e configurações de ajuste
  • Crie uma página de configurações para ajustar os parâmetros do modelo e fornecer instruções personalizadas exemplo
• Adicione a capacidade de consultar em vários arquivos
  • Compor índices de múltiplas palestras e consultas em todos eles
  • Vá através de todo o índice existente, crie aqueles que não foram criados e componha -os juntos
  • Referências
    • Composibilidade - documentação de Llandeindex
    • gpt_index/composableindices.ipynb
    • Teste de consultas complexas sobre vários documentos

Perguntas frequentes

Tokens

Os tokens podem ser pensados ​​como peças de palavras. Antes da API processar as instruções, a entrada é dividida em tokens. Esses tokens não são cortados exatamente onde as palavras começam ou terminam - os tokens podem incluir espaços à direita e até sub -palavras. Aqui estão algumas regras úteis para entender os tokens em termos de comprimentos:

• 1 token ~ = 4 chars em inglês
• 1 token ~ = ¾ palavras
• 100 tokens ~ = 75 palavras
• 1-2 frase ~ = 30 tokens
• 1 parágrafo ~ = 100 tokens
• 1.500 palavras ~ = 2048 tokens

Experimente a ferramenta de tokenizador Openai

Fonte

Incorporação

Uma incorporação é um vetor (lista) dos números de ponto flutuante. A distância entre dois vetores mede sua relação. Pequenas distâncias sugerem alta relação e grandes distâncias sugerem baixa relação.

Para text-embedding-ada-002 , o custo é de US $ 0,0004 / 1k tokens ou 3000 páginas / dólar

• Incorporação - API OpenAI
• O que são incorporações de notícias e frases?

Modelos

Para o modelo gpt-3.5-turbo (Chatgptapi), é de $0.002 / 1K tokens

Para o modelo text-davinci-003 , o custo é de $0.02 / 1K tokens

• Conclusão de bate -papo - API OpenAI

Referências

Simplit

• Aumentar o limite de upload de St.File_Uploader
• St.Cache_Resource - Documentos de streamlit
• Estado da sessão
• Hayabhay/Whisper-Ui: Ui de streamlit para sussurro do OpenAi

Descrevendo

• Guia de implantação do streamlit (Wiki) - Implantação - Streamlit
• Como implantar um aplicativo de streamlit na AWS? Parte 3

Llamaindex

• Padrão de uso de Llamaindex
• Índice de economia

Dados de carregamento

• Carregador em pdf
• Repo repositório do github de lhama-hub
• Classe de documentos
• Classe PDFReader

multimodal

• llama_index/multimodal.ipynb em main

Chatgpt

• gpt_index/SimpleIndexDemo-chatgpt.ipynb

Langchain

• gpt_index/Langchainndomo.ipynb
• OpenAichat

BOTO3

• BOTO3 FILE_UPLOAD isso verifica se o arquivo existe
• BOTO 3: Recurso vs Cliente
• Escrevendo JSON para arquivar no S3 Bucket

Material do docker

• Amazon Web Services - Qual é a melhor maneira de passar credenciais da AWS para um contêiner do Docker?
• Docker-Compose Up Falhando devido a: Erro: Não é possível encontrar o compilador de ferrugem · Edição #572 · acheong08/chatgpt
• Linux - Ao instalar Rust Toolchain no Docker, o comando source Bash não funciona
• Instalação de software - Como instalar um pacote com o APT sem o "Você deseja continuar [S/N]?" incitar? - Pergunte ao Ubuntu
• Como usar o sudo dentro de um contêiner do Docker?