S.A.T.U.R.D.A.Y
1.0.0
Lihat Demo • Memulai • Permintaan Fitur •
Project Saturday adalah kotak alat untuk komputasi vokal. Ini menyediakan alat untuk membangun antarmuka vokal yang elegan ke LLM modern. Tujuan dari proyek ini adalah untuk menumbuhkan komunitas orang-orang yang berpikiran sama yang ingin menghasilkan teknologi yang telah kami janjikan dalam film sci-fi selama beberapa dekade. Ini bertujuan untuk menjadi sangat modular dan fleksibel sambil tetap dipisahkan dari model AI tertentu. Ini memungkinkan untuk peningkatan yang mulus ketika teknologi AI baru dirilis.
Project Saturday terdiri dari alat. Alat adalah abstraksi yang merangkum bagian tertentu dari tumpukan komputasi vokal. Ada 2 konstruksi utama yang terdiri dari alat:
Mesin - Mesin merangkum fungsionalitas spesifik domain dari suatu alat. Logika ini harus tetap sama terlepas dari backend inferensi yang digunakan. Misalnya, dalam kasus alat STT mesin berisi algoritma deteksi aktivitas suara bersama dengan beberapa logika buffering khusus. Ini memungkinkan backend untuk dengan mudah diubah tanpa perlu menulis ulang kode.
Backend - Backend adalah apa yang sebenarnya menjalankan inferensi AI. Ini biasanya merupakan pembungkus tipis tetapi memungkinkan lebih banyak fleksibilitas dan kemudahan peningkatan. Backend juga dapat ditulis untuk berinteraksi dengan server HTTP untuk mengizinkan antar-op bahasa yang mudah.
Proyek ini berisi 3 jenis alat utama. 3 alat utama adalah STT, TTT dan TTS.
Alat STT adalah telinga sistem dan melakukan inferensi pidato-ke-teks pada audio yang masuk.
Alat TTT adalah otak sistem dan melakukan inferensi teks-ke-teks setelah audio telah diubah menjadi teks.
Alat TTS adalah mulut sistem dan melakukan inferensi teks-ke-unggun pada teks yang dibuktikan oleh alat TTT.
Berikut adalah diagram tentang cara kerja demo utama saat ini.
Demo yang datang dalam repo ini adalah Jarvis pribadi Anda sendiri yang diselenggarakan seperti asisten.
Penafian : Saya baru saja menguji ini pada prosesor M1 Pro dan Max. Kami melakukan banyak kesimpulan lokal sehingga demo membutuhkan sedikit daya pemrosesan. Jarak tempuh Anda mungkin sangat pada sistem operasi dan perangkat keras yang berbeda. Jika Anda mengalami masalah, silakan buka masalah.
Untuk menjalankan demo ada beberapa prasyarat.
Untuk menjalankan demo, Golang, Python, Make dan C Complier diperlukan.
Ada 3 proses yang perlu dijalankan untuk demo:
pkg-config dan opus . Di macOS ini dapat diinstal dengan minuman: brew install opus pkg-configmecab dan espeak . Di macOS mereka dapat diinstal dengan minuman: brew install mecab espeakCatatan : Untuk saat ini urutan Anda memulai proses. Anda harus memulai server RTC dan server TTS sebelum memulai klien.
Dari akar proyek menjalankan make rtc
make rtcPengaturan pertama kali : Saat Anda menjalankan server TTS untuk pertama kalinya Anda harus menginstal dependensi. Pertimbangkan untuk menggunakan lingkungan virtual untuk ini.
cd tts/servers/coqui-tts
pip install -r requirements.txt Dari akar proyek menjalankan make tts
Klien membutuhkan whisper.cpp dan penggunaan cgo namun skrip membuat harus mengurus ini untuk Anda.
Dari akar proyek run make client
make clientHal utama di peta jalan saat ini adalah mendapatkan inferensi TTT untuk berjalan secara lokal dengan sesuatu seperti llama.cpp. Pada saat menerbitkan ini, saya tidak memiliki internet yang hebat dan tidak dapat mengunduh bobot model yang diperlukan untuk membuatnya berfungsi.
Item terbesar kedua di peta jalan saya terus meningkatkan proses pengaturan dan konfigurasi.
Hal terakhir di peta jalan saya adalah terus membangun aplikasi dengan hari Sabtu, saya berharap lebih banyak orang akan membangun bersama saya karena ini adalah cara #1 untuk meningkatkan proyek dan mengungkap fitur baru yang perlu ditambahkan.
Bergabunglah dengan perselisihan untuk tetap up to date!
Proyek ini dibangun dengan paket open source berikut:
Saya sangat sempurna dan pasti ada bug dan hal -hal yang saya abaikan dalam proses instalasi. Tolong, tambahkan masalah dan jangan ragu untuk menjangkau jika ada yang tidak jelas. Juga, kami memiliki perselisihan.
Kontribusi inilah yang membuat komunitas open source menjadi tempat yang luar biasa untuk dipelajari, menginspirasi, dan menciptakan. Kontribusi apa pun yang Anda buat sangat dihargai .
git checkout -b feature/AmazingFeaturegit commit -m 'Add some AmazingFeature'git push origin feature/AmazingFeatureMit
Jika Anda menyukai proyek ini dan ingin mendukung secara finansial, jangan ragu untuk membelikan saya kopi
Github @grvydev · twitter @grvydev · kirim email ke [email protected]
