shady.ai

Shadyai

_{Tampil saya untuk mendapatkan privasi ramah, model AI offline dapat diakses oleh sebanyak mungkin orang. Offline pertama. Privasi Pertama. Open source. Bebas. Apa yang terjadi di Shadyai, tetap di Shadyai . Tidak ada iklan. Tidak ada pelacakan. Tidak ada pengumpulan data. Tidak ada pendaftaran. Tidak ada langganan. Tidak ada pembelian dalam aplikasi. Tidak ada fitur premium. Nada. Tidak ada apa-apa. Itu saja. AI murni, niat murni - itulah inti dari aplikasi ini.}

Intro

Pernah memperhatikan bagaimana AI cenderung bersembunyi di bayang -bayang? Dengan lautan startup yang memakai nama -nama samar, Shadyai dengan main -main mengakui kegemaran Ai untuk Mystique. Itu semua olok-olok ringan. Sebaliknya, di balik façade yang menyenangkan ini ada komitmen asli terhadap transparansi dan praktik AI etis. Shadyai sepenuhnya open source, dan didedikasikan untuk membawa kejelasan, keterbukaan, dan penekanan yang kuat pada privasi.

Ada banyak model AI offline mutakhir, dan saya ingin menangkap semuanya. Pikirkan segmen apa pun, llama dan bisikan. Apa yang saya maksud dengan itu? Yah, saya ingin memudahkan siapa pun untuk menggunakan kemajuan AI canggih seperti ini tanpa rintangan teknis yang menyertainya.

Sponsor

• Dompet kosong saya
• Waktu luang saya (saya ayah penuh waktu, karyawan penuh waktu, dan pencari paruh waktu untuk mendapatkan keseimbangan kehidupan kerja saya dengan benar)

Kemajuan

Item dapat berubah. Daftar ini tidak lengkap, saya akan memperbaruinya saat saya pergi.

Yang secara aktif sedang dikerjakan ditandai dengan A? emoji.

• Buat Slide Deck dengan Flutter (Bonus: Kontribusi Kembali Perubahan Kustom)
• Hasilkan binding panah untuk llama.cpp
• Hasilkan .dylib untuk macOS (ARM64) (bonus: dengan artefak logam untuk akselerasi GPU)
• Berhasil memuat contoh llama dengan dylib
• Berhasil memuat model llama dalam format GGUF dengan parameter konteks llama default
• Berhasil menjalankan inferensi pada model llama dengan permintaan khusus
• Tambahkan pengalaman mulai cepat ke aplikasi
• ? Buat plugin FFI flutter cross-platform untuk memberi daya pada aplikasi Anda sendiri dengan cara yang sama (tanpa malam frustation yang tak terhitung jumlahnya)
• Memperluas platform yang didukung:
  • MacOS (ARM64)
  • MacOS (x86_64)
  • Windows (x86_64)
  • Linux (x86_64)
  • Android (ARM64)
  • iOS (ARM64)
  • Web (Shadyai untuk Web harus memiliki dukungan WebGPU)
• Minggu 11 Spike (2 hari): Teks-ke-gambar, segmentasi, ucapan-ke-teks.
• Publikasikan video, posting blog, tambahkan visual (misalnya dalam ReadMe), dan kumpulkan umpan balik awal.

Fitur

Item dapat berubah. Daftar ini tidak lengkap, saya akan memperbaruinya saat saya pergi.

• Ajukan satu pertanyaan. (Contoh: "Apa arti hidup?")
• Beri AI satu instruksi. (Contoh: "Tulis widget flutter dengan tombol yang bertuliskan 'halo dunia'")
• Pilih dari templat prompt yang telah ditentukan sebelumnya.
• Mulailah dengan cepat dengan menggunakan model AI kecil-tapi-gagah. (Catatan: Ini adalah model TinyStories <100 MB, bagus dalam menghasilkan cerita pendek. Saya mengawasi beberapa model ~ 1B)
• Tanyakan AI menghasilkan gambar berdasarkan deskripsi singkat. (Contoh: "kucing dengan topi")
• Percakapan obrolan yang sedang berlangsung dengan AI. (Suka berbicara dengan seorang teman, dengan twist)
• Menerjemahkan teks ke bahasa lain.
• Salin suara siapa pun dan katakan apa pun yang Anda inginkan.
• Buat musik dengan AI.
• Buat video pendek dengan AI.

Jika Anda ingin melihat fitur yang diterapkan, silakan buka masalah.

Perangkat terverifikasi

Berikut adalah daftar perangkat yang telah saya uji Shadyai. Ini bukan daftar lengkap, perangkat Anda juga harus berfungsi. Jika bukan itu masalahnya, beri tahu saya dengan membuka masalah.

• MacBook Pro (16-inci, 2021).
  • Macos Ventura - Versi 13.5.1
  • Chip: Apple M1 Pro
  • Memori: 16 GB

Eksperimental

Shadyai mungkin juga bekerja hanya dengan mengunjungi Shady.ai. Ini sangat eksperimental, jangan terlalu bersemangat!

Situs web ini baru saja dipanggang dari oven setiap malam pukul 00:00 UTC, seperti yang terlihat di halaman penyebaran ini.

DIY

Lakukan sendiri. Anda memiliki kode sumber, inilah cara Anda dapat membangunnya

1. Instal Flutter dan pastikan Anda dapat menjalankan Contoh Aplikasi (Aplikasi Counter).
2. Instal FVM (Manajer Versi Flutter) dan pastikan Anda dapat menjalankannya (misalnya fvm --version -Output 2.4.1 pada saat penulisan ini).
3. Buka terminal Anda, navigasikan ke akar proyek ini ( cd ~/my-favorite-projects/shady.ai
4. Arahkan ke frontend: cd shady_ai_flutter
5. Instal Versi Flutter yang Sama: fvm install
6. Akhirnya, jalankan aplikasi dengan: flutter run (jika beberapa platform terdeteksi, misalnya macOS dan ponsel Anda, Anda akan diminta untuk memilih 1 perangkat)

Benchmark

Ayah saya, pensiunan tukang daging di pertengahan 70-an, akan menjadi tolok ukur.

Agar patokan dapat dilewati, daftar periksa ini harus diselesaikan.

Daftar Periksa:

• Beri tahu ayah untuk mengunduh aplikasi.
• Minta dia untuk bercakap -cakap dengan aplikasi. Ini lulus jika dia mengobrol dengan AI setidaknya selama 5 menit.
• Minta dia untuk menghasilkan gambar. Ini lulus jika dia bisa menghasilkan gambar, dia senang dengan hasilnya, dan dia bisa membaginya dengan siapa pun.

Jika belum selesai, itu gagal. Jika selesai, ini adalah pass.

Tentang ayah saya.

Dia berusia pertengahan 70 -an. Memori yang bagus. Selalu lupa tanggal lahir saya, namun entah bagaimana mengingat detail tentang pelanggannya dari 30 tahun yang lalu. Memiliki selera humor yang tinggi. Oh, tunggu sebentar, ingatannya tidak terlalu bagus. Tetap saja, dia ayah yang hebat.

Sapa ayahku:

Tumpukan teknologi

• Flutter - Frontend (di Dart)
• llama.cpp - memungkinkan saya untuk menjalankan salah satu model Blinkdl di CPU, inferensi cepat.
• Sistem Desain - Sistem Desain Buatan Google. Membantu saya untuk mendapatkan tema yang konsisten di seluruh aplikasi dalam upaya yang kurang daripada melakukan semuanya sendiri.
• Dan banyak lagi ...
• ServerPod - Backend (di DART). Shadyai saat ini tidak menggunakan backend apa pun. Tapi saya berencana menggunakan ServerPod untuk membuatnya lebih mudah nanti untuk menjalankan model kuat yang dapat Anda gunakan di server Anda sendiri. Saya yakin orang -orang di R/Selfhosted akan menyukainya. Saya tahu saya akan melakukannya. Bayangkan saja satu baris perintah untuk menjalankan gambar Docker yang menjalankan model AI yang kuat (atau beberapa model) yang dapat Anda akses dari mana saja. Itulah impiannya. Saya belum sampai di sana, tapi saya sedang mengerjakannya.

FAQ

T: Apa yang begitu teduh tentang itu?

A: Ironisnya, tidak ada sama sekali. Nama Shadyai adalah twist yang menyenangkan, mengisyaratkan sifat AI yang sering kali misterius. Jika menggunakannya membuat Anda "teduh," yah, itu akan menjadi rahasia kecil kita. Intinya? Apa yang terjadi di Shadyai tetap di Shadyai.

T: Nasihat apa yang Anda miliki untuk seseorang yang ingin membangun sesuatu seperti ini?

A: Ini dimulai dengan hasrat. Melompat pada kereta musik karena ada sesuatu "In Vogue" tidak akan menopang Anda dalam jangka panjang. Tren berlalu cepat. Menyelam jauh ke dalam subjek - dalam hal ini, ai. Pahami kemampuannya dan pikirkan secara kritis tentang masalah dunia nyata yang ingin Anda tangani. Bagi saya, ini bukan hanya tentang membicarakan potensi AI; Ini tentang mendemonstrasikannya, membuatnya nyata dan dapat diakses oleh semua orang. Saya menggunakan tolok ukur sederhana: Jika orang tua saya mulai menggunakannya secara sukarela, saya tahu saya ke sesuatu. Ini adalah perjalanan, dan sementara saya belum sampai, saya berkomitmen ke jalan setapak.

Penafian

Proyek ini tidak berafiliasi dengan Meta, Openai atau perusahaan lain. Ini adalah proyek pribadi yang dibuat oleh saya. Shadyai, saya sendiri, dan siapa pun yang terlibat dalam proyek ini tidak bertanggung jawab atas kerusakan yang disebabkan oleh penggunaan aplikasi ini. Gunakan dengan risiko Anda sendiri.

Lisensi

Lihat file lisensi.

Berkontribusi

Jangan ragu untuk membuka masalah atau permintaan tarik. Saya terbuka untuk saran apa pun.

Teman Shadyai

• llama.dart - binding panah untuk llama.cpp. Dibuat oleh saya.
• llama.cpp - perpustakaan C ++ untuk membangun dan menjalankan model AI secara lokal.
• Flutter Perth - Grup pertemuan Flutter Perth. Saya penyelenggara. Bergabunglah dengan pertemuan online reguler saya untuk mempelajari lebih lanjut tentang Flutter dan AI.