CUPCAKEAGI

Cupcakeagi ???????

Hai pecinta cupcake? ❤️! Saya senang memperkenalkan Anda ke proyek terbaru saya, CupCakeagi!

Anda dapat menemukan dokumentasinya di sini: https://akshitireddy.github.io/cupcakeagi/

Fitur

• Akses ke Internet
• ? Unggah gambar
• ? Unggah audio
• ? Unggah video
• ? Memori yang gigih
• ❤️ Emosi
• ? Pikiran acak
• ? Mimpi
• Kemampuan yang telah ditentukan sebelumnya
• ? Pendekatan modular untuk menambahkan kemampuan baru
• Tugas & Jadwal Tugas
• Pemrosesan Tugas Asinkron
• Bicara saat tugas sedang diproses di latar belakang
• ? ‍ Buat & Jalankan Kode Python
• ? Gpt-3.5 sebagai otak

Demo

demo.mp4

Persyaratan

Buka terminal dan buka Aagi virtual backend/multi-sensorik (Anda harus menginstal Conda)

npm install next
conda env create -f environment.yml

? Cara menggunakan

Buka Terminal dan Pergi ke Backend/Multi-Sensory Virtual Aagi

conda activate aagi
uvicorn inference:app

Buka Terminal Lain dan Pergi ke Frontend/Asisten (Anda perlu menginstal simpul)

npm run dev

Masukkan tombol API Anda di file .env, Anda akan memerlukan kunci API OpenAI, Kunci API Serper

Tentang

CupCakegi adalah agen yang bertujuan untuk meniru perilaku seperti manusia dan kemampuan kognitif untuk membantu pengguna dalam melakukan berbagai tugas. Itu dilengkapi dengan sedikit manis? fitur, termasuk kemampuan untuk bermimpi?, memiliki pikiran acak, dan melakukan simulasi mental tentang cara menyelesaikan tugas. Sama seperti bagaimana kita manusia memiliki pikiran yang melayang di sekitar kepala kita, Cupcakegi memiliki gelembung pikiran? dengan kata -kata abstrak.

Untuk membuat CupCakeagi lebih ekspresif, saya telah menambahkan parameter emosi. Ini akan memungkinkannya untuk berinteraksi dengan pengguna dengan cara yang lebih pribadi❤️.

Salah satu fitur Cupcakegi yang paling mengesankan adalah kemampuannya untuk menerima berbagai bentuk data sensorik, seperti gambar?, Video?, Dan audio?. Meskipun saya belum menerapkan bau?, Sentuh dan rasanya? Namun, itu harus mirip dengan apa yang saya lakukan untuk gambar, video, dan audio. Anda akan memerlukan fungsi untuk mengonversi data sensorik ke teks dan kemudian akan ditambahkan sebagai deskripsi file untuk file yang akan digunakan saat meminta model.

CupCakeagi menyediakan dua fitur utama untuk interaksi pengguna: bicara dan tugas. Fitur Talk memungkinkan untuk respons langsung terhadap kueri pengguna menggunakan alat seperti mesin pencari, kalkulator, dan penerjemah, menjadikannya pemecah masalah real-time. Dan siapa yang tidak suka pemecah masalah yang baik?, Terutama ketika datang untuk memanggang cupcakes ??

Fitur tugas digunakan untuk menyelesaikan tugas pada waktu mulai atau pada tenggat waktu. Fitur Tugas & Talk memungkinkan untuk merantai beberapa alat bersama -sama menggunakan fungsi tugas bahasa alami yang mengubah output dari satu alat menjadi input lain, membuat alat yang berbeda kompatibel satu sama lain. Jadi, apakah Anda perlu memanggang beberapa cupcake untuk pesta ulang tahun atau kontes cupcake, Cupcakegi ada di sini untuk membantu Anda!

Beberapa kemampuan seperti pencarian, kalkulator, pencarian Wikipedia telah ditentukan sebelumnya, kemampuan ini didefinisikan sebagai fungsi Python yang dapat digunakan agen dengan membuat skrip Python dan mengimpor fungsi -fungsi ini diikuti dengan menjalankan skrip akhir dan menyimpan output ke file teks yang dapat diaksesnya. Lebih banyak kemampuan dapat didefinisikan dan yang sudah ada dapat dimodifikasi secara modular, yang perlu dilakukan hanyalah menjatuhkan skrip Python dalam fungsi kemampuan dan kemudian menyebutkan nama, deskripsi, dan arah untuk digunakan dalam kemampuan.json di direktori state_of_mind dan seperti itu agen akan memiliki kemampuan baru. Agen dapat rantai kemampuan ini untuk melakukan tugas yang lebih kompleks dan untuk memastikan kompatibilitasnya dapat menggunakan natural_task_function.

Secara keseluruhan, saya harap Anda menemukan Cupcakegi menjadi tambahan yang manis dalam hidup Anda. Proyek ini sangat menyenangkan untuk dibuat, dan saya senang melihat ke mana perginya. Terima kasih telah membaca, dan senang membuat kue!

Mengapa?

• Otak kita memproses dan mengintegrasikan input sensorik ini untuk membentuk persepsi yang koheren tentang dunia di sekitar kita. Demikian pula, di ranah kecerdasan buatan, kemampuan untuk memproses dan mengintegrasikan data multisensor sangat penting untuk membangun agen cerdas yang dapat berinteraksi dengan manusia dengan cara yang lebih alami dan efektif.

• Dalam beberapa tahun terakhir, model bahasa besar (LLM) seperti ChatGPT dan GPT-4 telah menunjukkan kemampuan luar biasa dalam menghasilkan teks seperti manusia berdasarkan sejumlah besar data pelatihan. Namun, model -model ini biasanya terbatas untuk bekerja dengan data teks dan gambar dan tidak memiliki kemampuan untuk memproses jenis input sensorik lainnya.

• Di luar kemampuan untuk memproses data multisensor, agen LLM juga menunjukkan beberapa kemampuan kognitif yang biasanya terkait dengan manusia. Misalnya, agen dilengkapi dengan kemampuan untuk bermimpi dan memiliki pikiran acak, yang dianggap memainkan peran penting dalam kreativitas manusia, konsolidasi memori, dan pemecahan masalah. Dengan memasukkan fitur-fitur ini ke dalam agen LLM, kami bertujuan untuk membuat agen yang dapat membantu pengguna dalam melakukan tugas dengan cara yang lebih alami dan efektif dan membuat agen-agen ini lebih seperti manusia.

Data multisensor

• ? Selamat datang kembali ke dunia cupcakes dan memanggang! Kita semua tahu bahwa pengalaman manusia lebih dari sekadar interaksi berbasis teks. Ini bukan hanya tentang membaca, tetapi juga tentang mengalami dunia dengan semua indera kita, termasuk penglihatan ?, Suara ?, Bau ?, Rasa ?, Dan sentuh ?. Demikian pula, agen LLM yang dapat bekerja dengan data multisensor dapat membuka dunia baru kemungkinan untuk pembelajaran mesin.

• Alih -alih kehilangan data yang kaya dan beragam yang tersedia melalui modalitas sensorik lainnya, kita dapat menggunakan arsitektur jaringan saraf yang mengubah berbagai bentuk data sensorik menjadi data teks yang dapat bekerja dengan LLM.

• Misalnya, kita dapat menggunakan model captioning gambar seperti Vit-Gpt2 dan Blip untuk mengubah gambar menjadi data teks, yang kemudian dapat diproses oleh agen LLM. Demikian pula, untuk data audio, model audio-ke-teks seperti Openai's Whisper dapat digunakan untuk mengonversi sinyal audio menjadi data teks. ??

• Sekarang, saya tahu apa yang Anda pikirkan: bagaimana dengan video ?, Bau ?, Rasakan ?, Dan sentuh ?? Jangan khawatir, kami membantu Anda! Untuk menyimpan perhitungan, kita dapat menggunakan satu bingkai per detik data video dan menggunakan model captioning gambar untuk mengubah setiap bingkai menjadi teks. Lagu audio dari video dapat dipisahkan dan ditranskrip menggunakan model audio-ke-teks, memberikan agen LLM dengan data visual dan pendengaran.

• Adapun bau ?, Rasa?, Dan sentuh?, Kita dapat menggunakan hidung dan lidah elektronik untuk menangkap berbagai jenis data kimia dan rasa dan mengubahnya menjadi data teks yang dapat diproses oleh LLM. Sensor haptic dapat menangkap tekanan, suhu, dan sensasi fisik lainnya dan mengubahnya menjadi data teks menggunakan jaringan saraf atau apa pun.

• Ingat, model -model ini harus digunakan sebagai komponen modular yang dapat dengan mudah dialihkan saat model baru muncul. Pikirkan mereka sebagai blok Lego atau komponen bereaksi yang dapat kita kumpulkan untuk membuat sistem yang lebih komprehensif.

• Jadi, mari kita dipanggang dengan cupcakeagi dan memasukkan data multisensor ke dalam agen LLM untuk menciptakan interaksi mesin manusia yang lebih alami dan efektif. Dengan ketersediaan data sensorik yang berbeda, agen LLM dapat memproses dan memahami berbagai jenis data, yang mengarah ke agen yang lebih seperti manusia yang dapat membantu kami dalam tugas yang berbeda.

Perilaku seperti manusia dan ingatan yang gigih

? Selamat datang di Cupcakegi, tempat kami memanggang kebaikan AI yang manis dan lembut! ??

Berikut adalah beberapa fitur utama dari agen LLM kami yang membuatnya lebih seperti manusia dan efektif:

• ? Perilaku seperti manusia: Agen LLM kami dilengkapi dengan beberapa fitur yang meniru perilaku manusia, termasuk kemampuan untuk bermimpi, memiliki pikiran acak, dan melakukan simulasi mental tentang cara menyelesaikan tugas. Fitur -fitur ini memungkinkan agen untuk lebih memahami dan menanggapi pertanyaan pengguna.

• ? Memori yang gigih: Agen LLM kami memiliki keadaan pikiran di mana semua file yang berkaitan dengan kepribadian, emosi, pikiran, percakapan, dan tugasnya disimpan. Bahkan jika agen telah berhenti berjalan, semua informasi yang relevan masih disimpan di lokasi ini. Ini memungkinkan agen untuk memberikan pengalaman yang lebih personal dan efektif.

• ? Parameter Emosi: Kami menggunakan parameter emosi seperti kebahagiaan, kesedihan, kemarahan, ketakutan, keingintahuan, dan kreativitas untuk membuat agen LLM lebih ekspresif dan lebih memahami kebutuhan dan preferensi pengguna.

• ? Bubble Thought: Agen LLM kami juga memiliki gelembung pemikiran, yang pada dasarnya adalah daftar daftar yang sesuai dengan topik yang berbeda. Ini memungkinkan agen untuk lebih efektif memproses dan mengintegrasikan pemikirannya dengan pertanyaan dan tugas pengguna.

• Penyimpanan Percakapan: Agen LLM menyimpan percakapan yang telah dilakukan sejauh ini dan daftar tugas yang perlu dilakukan. Ini memecah percakapan menjadi potongan -potongan dan merangkumnya untuk mempertahankan koherensi dan relevansi. Ini memungkinkan agen untuk mempertahankan percakapan yang koheren dan relevan dengan pengguna.

Dengan fitur -fitur ini, agen LLM kami lebih siap untuk membantu pengguna dalam melakukan tugas dengan cara yang alami dan efektif. Kami harap Anda menikmati kebaikan AI kami yang manis dan lembut! ???

Bicara & Tugas

? Selamat datang di CupCakegi! Berikut adalah beberapa deet manis tentang agen LLM yang akan membuat tugas Anda menjadi cakewalk:

• Mode bicara dan tugas memudahkan pengguna untuk berkomunikasi dengan LLM dan menyelesaikan semuanya dengan mulus.
• ? LLM mengonversi file seperti gambar, video, dan audio ke teks, membuatnya mudah untuk disimpan dan diambil.
• ? Dengan akses ke berbagai alat seperti mesin pencari, wiki, dan penerjemah, LLM dapat memberi pengguna informasi yang diperlukan untuk pertanyaan mereka.
• ? Fungsi tugas bahasa alami memungkinkan pengguna untuk merantai alat yang berbeda, membuatnya kompatibel satu sama lain.
• ? ️ Mode tugas sangat berguna untuk tugas yang panjang dan dapat diatur untuk memulai pada waktu tertentu, memungkinkan pengguna untuk fokus pada hal -hal lain sementara LLM menangani tugas tersebut.
• ? LLM mengalami pikiran dan mimpi acak, seperti halnya manusia, membuatnya lebih menyenangkan dan seperti manusia.
• ? ‍ LLM bahkan dapat menggunakan paket Python seperti memeluk model wajah untuk menyelesaikan tugas, menjadikannya agen yang sangat fleksibel. Jadi silakan cobalah Cupcakeagi! Dengan pendekatan modularnya, Anda dapat dengan mudah menambahkan alat dan fitur baru sesuai kebutuhan. Siapa yang tahu cupcakes dan AI bisa berjalan dengan baik? ??

Keterbatasan

Selamat datang di CupCakegi! ????

Mari kita bicara tentang beberapa hal penting yang perlu Anda ketahui tentang proyek manis ini:

• Tugas Kompleks: Sementara Cupcakegi sama seperti manusia, mungkin tidak dapat menyelesaikan tugas kompleks yang membutuhkan bolak-balik yang signifikan. Kita berbicara tentang tugas yang melibatkan negosiasi dengan banyak pihak untuk mencapai solusi. Cupcakegi dimaksudkan untuk membantu individu pada tingkat pribadi, tetapi mungkin tidak cocok untuk menyelesaikan masalah yang sangat rumit. Namun, jangan khawatir, CupCakeagi masih menjadi tujuan Anda untuk semua kebutuhan kue cupcake Anda! ??‍?

• Keakuratan Konversi Data Sensorik: Efektivitas CupCakeagi sangat bergantung pada keakuratan arsitektur jaringan saraf yang digunakan untuk mengubah data sensorik menjadi teks. Jika model -model ini tidak akurat, CupCakeAgi dapat salah memahami input pengguna, yang mengarah ke respons yang salah atau tidak efektif. Tapi jangan khawatir, kami terus berupaya meningkatkan akurasi Cupcakeagi untuk memastikan Anda mendapatkan pengalaman terbaik! ??

• Etika dan Privasi: CupCakeAgi memiliki potensi untuk mengumpulkan dan memproses sejumlah besar data pribadi dari pengguna. Dengan demikian, ada risiko bahwa data sensitif dapat dikompromikan, yang mengarah pada masalah privasi. Cupcakeagi akan melakukan yang terbaik untuk menjaga rahasia cupcake Anda aman! ?

Terima kasih telah memeriksa Cupcakegi, dan ingat, dengan Cupcakegi di sisi Anda, Anda akan selalu memiliki resep cupcake yang sempurna! ?

Kesimpulan

Selamat datang di kesimpulan dari Proyek Agen LLM multisensor kami! ????

Berikut ini adalah penguncian utama dari proyek kami ??

• Agen LLM kami seperti cupcake, dibuat dengan banyak bahan yang berbeda - dapat bekerja dengan data multisensor, mimpi, memiliki pikiran acak, dan menunjukkan emosi ???
• Dengan memasukkan data multisensor, agen kami dapat memahami berbagai jenis informasi, seperti halnya tukang roti menggunakan bahan yang berbeda untuk membuat cupcake lezat ??
• Dengan kemampuan kognitif dan memori yang gigih, agen kami dapat membantu pengguna dengan cara yang lebih seperti manusia, seperti tukang roti yang ramah yang membantu Anda memilih rasa cupcake yang sempurna ??
• Proyek ini mewakili langkah kecil namun penting untuk membangun asisten AI yang lebih alami dan efektif, seperti cupcake kecil dapat membawa senyum ke wajah seseorang dan mencerahkan hari mereka ??
• Kami berharap proyek kami telah menginspirasi Anda untuk memikirkan kemungkinan agen LLM multisensorik dan bagaimana mereka dapat meningkatkan interaksi manusia-mesin. Terima kasih telah meluangkan waktu untuk memeriksa proyek kami - itu dibuat dengan banyak cinta dan cupcakes! ❤️?