chatty

Chatty

Chatty adalah AI pribadi Anda yang memanfaatkan WebGPU untuk menjalankan model bahasa besar (LLM) secara asli & pribadi di browser Anda, membawa Anda pengalaman AI paling kaya fitur yang paling kaya.

Fitur

• Privasi in-browser: Semua model AI berjalan secara lokal (sisi klien) pada perangkat keras Anda, memastikan bahwa data Anda hanya diproses di PC Anda. Tidak ada pemrosesan sisi server!
• Offline: Setelah unduhan awal model diproses, Anda akan dapat menggunakannya tanpa koneksi internet yang aktif.
• Riwayat obrolan: Akses dan kelola riwayat percakapan Anda.
• Mendukung model open-source baru: mengobrol dengan model sumber terbuka populer seperti Gemma, Llama2 & 3 dan Mistral!
• Desain Responsif: Jika ponsel Anda mendukung WebGL, Anda akan dapat menggunakan Chatty seperti yang Anda lakukan di desktop.
• UI intuitif: Terinspirasi oleh antarmuka AI populer seperti Gemini dan Chatgpt untuk meningkatkan kesamaan dalam pengalaman pengguna.
• Markdown & Code Sorot: Pesan yang dikembalikan sebagai Markdown akan ditampilkan seperti itu & pesan yang menyertakan kode, akan disorot untuk akses mudah.
• Obrolan dengan file: Muat file (PDF & semua file non -biner yang didukung - bahkan file kode) dan ajukan pertanyaan model tentang mereka - sepenuhnya lokal! Dokumen Anda tidak pernah diproses di luar lingkungan lokal Anda, terima kasih kepada XenovatransformerEMBedDings & MemoryVectorstore
• Dukungan Memori Kustom: Tambahkan instruksi/memori khusus untuk memungkinkan AI memberikan tanggapan yang lebih baik dan lebih personal.
• Pesan Obrolan Ekspor: Hasilkan dengan mulus dan simpan pesan obrolan Anda dalam format JSON atau Markdown.
• Dukungan Input Suara: Gunakan interaksi suara untuk berinteraksi dengan model.
• Respons Regenerate: Tidak cukup tanggapan yang Anda harapkan? Regenerasinya dengan cepat tanpa harus menuliskan prompt Anda lagi.
• Mode terang & gelap: Beralih antara mode terang & gelap.

Pratinjau

Chatty-vid-preview.mp4

Mengapa?

Proyek ini dimaksudkan untuk menjadi upaya terdekat untuk membawa kelamin & fungsionalitas dari antarmuka AI populer seperti chatgpt dan Gemini ke dalam pengalaman dalam browser.

Dukungan Browser

Secara default, WebGPU diaktifkan dan didukung di Chrome dan Edge. Namun, dimungkinkan untuk memungkinkannya di Firefox dan Firefox setiap malam. Periksa kompatibilitas browser untuk informasi lebih lanjut.

Cara menginstal

Jika Anda hanya ingin mencoba aplikasi, itu langsung di situs web ini.

Ini adalah aplikasi Next.js dan membutuhkan Node.js (18+) dan NPM yang diinstal untuk menjalankan proyek secara lokal.

Instal dari sumber

Jika Anda ingin menyiapkan dan menjalankan proyek secara lokal, ikuti langkah -langkah di bawah ini:

1. Kloning repositori ke direktori di PC Anda melalui prompt perintah:

 git clone https://github.com/addyosmani/chatty

2. Buka folder:

 cd chatty

3. Pasang dependensi:

 npm install

4. Mulai server pengembangan:

 npm run dev

5. Pergi ke Localhost: 3000 dan mulai mengobrol!

Buruh pelabuhan

Catatan

Dockerfile belum dioptimalkan untuk lingkungan produksi. Jika Anda ingin melakukannya sendiri, periksa contoh NextJS

 docker build -t chattyui .
docker run -d -p 3000:3000 chattyui

Atau gunakan docker-compose :

 docker compose up

Jika Anda telah membuat perubahan dan ingin membangun kembali, Anda dapat dengan mudah menjalankan docker-compose up --build

Peta jalan

• Embeddings beberapa file: Kemampuan untuk menyematkan beberapa file, bukan satu per satu untuk setiap sesi.
• Sistem Manajemen Prompt: Pilih dari dan tambahkan petunjuk sistem yang berbeda untuk digunakan dengan cepat dalam suatu sesi.

Berkontribusi

Kontribusi lebih dari diterima! Namun, pastikan untuk membaca pedoman yang berkontribusi terlebih dahulu :)

Persyaratan perangkat keras

Catatan

Untuk menjalankan model secara efisien, Anda akan membutuhkan GPU dengan memori yang cukup. Model 7B membutuhkan GPU dengan memori sekitar 6GB sementara model 3B membutuhkan sekitar 3GB.

Model yang lebih kecil mungkin tidak dapat memproses embeddings file seefisien yang lebih besar.

Ucapan Terima Kasih & Kredit

Chatty dibangun menggunakan proyek Webllm, memanfaatkan permukaan pelukan, llms open source dan langchain. Kami ingin mengakui pekerjaan hebat mereka dan berterima kasih kepada komunitas open source.

Penulis

Chatty dibuat dan dikelola oleh Addy Osmani & Jakob Hoeg Mørk.