ClassGPT

Classgpt

Chatgpt untuk slide kuliah saya

Dibangun dengan Streamlit, didukung oleh Llamaindex dan Langchain.

Menggunakan chatgpt API terbaru dari openai.

Terinspirasi oleh Athensgpt

Demo aplikasi

demo.mp4

Bagaimana ini bekerja

1. Parses PDF dengan PYPDF
2. Konstruksi Indeks dengan GPTSimpleVectorIndex Llamaindex
   • Model text-embedding-ada-002 digunakan untuk membuat embeddings
   • Lihat halaman indeks vektor toko untuk mempelajari lebih lanjut
   • Berikut indeks sampel
3. Indeks dan file disimpan di S3
4. Meminta indeks
   • menggunakan model chatgpt terbaru gpt-3.5-turbo

Penggunaan

Konfigurasi dan Rahasia

1. Konfigurasikan AWS (QuickStart)

    aws configure

2. Buat ember S3 dengan nama yang unik

3. Ubah nama bucket di basis kode (cari bucket_name = "classgpt" ke apa pun yang Anda buat.

4. ganti nama [.env.local.example] ke .env dan tambahkan kredensial openai Anda

Secara lokal

1. Buat Python Env

    conda create -n classgpt python=3.9
    conda activate classgpt

2. instal dependensi

    pip install -r requirements.txt

3. Jalankan Aplikasi StreamLit

    cd app/
    streamlit run app/01_❓_Ask.py

Buruh pelabuhan

Alternatif, Anda dapat menggunakan Docker

    docker compose up

Kemudian buka tab baru dan navigasikan ke http: // localhost: 8501/

Todo

• Mode Lokal untuk Aplikasi (No S3)
  • Variabel global USE_S3 untuk beralih antara mode lokal dan S3
• Menyebarkan aplikasi ke cloud yang diinuh oleh
  • memiliki kotak input untuk kunci openai
  • Menggunakan FS lokal Pyarrow untuk menyimpan file
• Perbarui Kode untuk Pembaruan Langchain Baru
• Permintaan khusus dan pengaturan tweak
  • Buat halaman Pengaturan untuk mengutak -atik parameter model dan memberikan contoh prompt khusus
• Tambahkan kemampuan untuk menanyakan beberapa file
  • Menyusun indeks banyak kuliah dan permintaan untuk semuanya
  • Lingkarkan melalui semua indeks yang ada, buat yang belum dibuat, dan menyusunnya bersama -sama
  • referensi
    • Komposabilitas - Dokumentasi Llamaindex
    • gpt_index/composableIndices.ipynb
    • Uji kueri kompleks atas beberapa dokumen

FAQ

Token

Token dapat dianggap sebagai potongan kata. Sebelum API memproses prompt, input dipecah menjadi token. Token ini tidak dipotong tepat di mana kata -kata dimulai atau akhir - token dapat mencakup ruang trailing dan bahkan sub -kata. Berikut adalah beberapa aturan praktis yang bermanfaat untuk memahami token dalam hal panjang:

• 1 token ~ = 4 chars dalam bahasa Inggris
• 1 token ~ = ¾ kata
• 100 token ~ = 75 kata
• 1-2 kalimat ~ = 30 token
• 1 paragraf ~ = 100 token
• 1.500 kata ~ = 2048 token

Coba Alat Tokenizer Openai

Sumber

Embeddings

Embedding adalah vektor (daftar) dari angka floating point. Jarak antara dua vektor mengukur keterkaitannya. Jarak kecil menunjukkan keterkaitan tinggi dan jarak besar menunjukkan keterkaitan rendah.

Untuk text-embedding-ada-002 , biaya adalah $ 0,0004 / 1K token atau 3000 halaman / dolar

• Embeddings - Openai API
• Apa itu embedding kata dan kalimat?

Model

Untuk biaya gpt-3.5-turbo Model (Chatgptapi) adalah $0.002 / 1K tokens

Untuk model text-davinci-003 , biaya adalah $0.02 / 1K tokens

• Penyelesaian Obrolan - API Openai

Referensi

Streamlit

• Tingkatkan batasan unggahan St.File_Uploader
• St.Cache_resource - Dokumen StreamLit
• Keadaan sesi
• Hayabhay/Whisper-Ui: Streamlit UI untuk Whisper Openai

Deplyoment

• Panduan Penerapan StreamLit (Wiki) - Penyebaran - StreamLit
• Bagaimana cara menggunakan aplikasi yang diuntungkan ke AWS? Bagian-3

Llamaindex

• Pola penggunaan llamaindex
• Indeks menghemat

Memuat data

• PDF Loader
• Llama-Hub Github Repo
• Kelas Dokumen
• Kelas PDFREADER

multimodal

• llama_index/multimodal.ipynb di Main

Chatgpt

• GPT_INDEX/SIMPLEDEnDExDemo-Chatgpt.ipynb

Langchain

• gpt_index/langchaindemo.ipynb
• OpenaiChat

Boto3

• boto3 file_upload apakah itu memeriksa apakah ada file
• Boto 3: Sumber Daya vs Klien
• Menulis JSON untuk mengajukan di S3 Bucket

Barang buruh pelabuhan

• Amazon Web Services - Apa cara terbaik untuk meneruskan kredensial AWS ke wadah Docker?
• Docker-Compose Up Gagal Karena: Kesalahan: Tidak Dapat Menemukan Rust Compiler · Masalah #572 · ACHEONG08/CHATGPT
• Linux - Saat menginstal Rust Toolchain di Docker, perintah Bash source tidak berfungsi
• Instalasi Perangkat Lunak - Cara Menginstal Paket dengan APT tanpa "Apakah Anda ingin melanjutkan [Y/N]?" mengingatkan? - Tanyakan Ubuntu
• Bagaimana cara menggunakan sudo di dalam wadah Docker?