simpleChat_llama2_mac_silicon

SimpleChat_LLAMA2_MAC_SILICON

** Catatan ** Saya telah mengarsipkan repo ini, karena sudah tua! ?????

Aplikasi obrolan sederhana dengan database embeddings dan vektor, khusus untuk eksekusi lokal pada silikon mac/apel.

Repo ini adalah distilasi dan riff berdasarkan privategpt dan localgpt yang saya buat untuk secara eksklusif berjalan secara lokal di Apple Silicon dan lebih khusus MacBook Pro (M1) saya. Motivasi saya adalah membuat obrolan LLM minimum yang berjalan sangat lokal di perangkat saya, untuk tujuan pembelajaran.

Fitur

• Llamacpp dari llama.cpp
• Model dari Wajah Memeluk
• Embeddings dari wajah memeluk
• Database Vektor dari Chroma
• Langchain Framework Langchain
• UI melalui gradio

Persyaratan

• Komputer Mac dengan silikon apel
• Conda

Buat & Aktifkan Lingkungan Conda Baru

conda create -n simpleChat python=3.11
conda activate simpleChat

Kloning repo

git clone https://github.com/ziligy/simpleChat_llama2_mac_silicon simpleChat
cd simpleChat

Instalasi

Langchain

conda install -c conda-forge langchain==0.0.239

Tingkatkan llama-cpp-python untuk logam

CMAKE_ARGS= " -DLLAMA_METAL=on " FORCE_CMAKE=1 pip install --upgrade --force-reinstall llama-cpp-python==0.1.77 --no-cache-dir

persyaratan.txt

pip install -r requirements.txt

Unduh Model GGML & Set Model_Path

Unduh model ini atau model GGML (diperlukan) 4-bit (lebih disukai) lainnya

llama-2-13b-chat.ggmlv3.q4_1.bin

Tentukan model_path di constants.py untuk mengatur lokasi dan nama model yang Anda gunakan.

(misalnya dalam constants.py ) model_path = os.path.expanduser ('~') + "/models/llama-2-13b-cat.ggmlv3.q4_1.bin"

Memulai obrolan di server gradio

gradio app.py

Anda harus melihat: berjalan di URL lokal: http://127.0.0.1:7861

CMD + Klik tautan untuk memulai obrolan UI di browser Anda

Pergi ke browser Anda untuk mengobrol dengan AI.

CATATAN Tanggapan obrolan mungkin memakan waktu satu hingga dua menit, jadi Anda harus bersabar

---

Instruksi untuk secara opsional menelan dataset Anda sendiri

CATATAN: Komponen engest.py pada dasarnya adalah garpu dari localgpt

Masukkan salah satu dan semua file .txt, .pdf, atau .csv Anda ke dalam direktori sumber_documents

Jenis file default saat ini adalah .txt, .pdf, .csv, dan .xlsx, jika Anda ingin menggunakan jenis file lainnya, Anda perlu mengonversinya ke salah satu jenis file default.

Jalankan perintah berikut untuk menelan semua data.

python ingest.py

Ini akan membuat indeks yang berisi vektorstore lokal. Akan memakan waktu, tergantung pada ukuran dokumen Anda.

Jika Anda ingin memulai dari database kosong, hapus folder DB.

rm -r ./DB

Mengeksekusi program engest.py akan membuat ulang direktori db baru