Personal Voice Assistant Using LLM FunctionCalling

Asisten Suara Pribadi

Ini adalah asisten suara pribadi yang dapat melakukan berbagai tugas seperti memutar musik dari YouTube, memperbaiki kesalahan, dan mengobrol dengan Anda seperti chatbot normal. Asisten dibangun menggunakan Python dan memanfaatkan beberapa perpustakaan dan API untuk memberikan fungsinya.

Pratinjau

Tonton videonya

Fitur

1. Putar musik dari YouTube : Anda dapat meminta asisten untuk memutar musik dari YouTube berdasarkan pertanyaan pencarian.
2. Perbaiki Kesalahan : Asisten dapat mengambil tangkapan layar, mengekstrak teks dari gambar, dan mencoba memperbaiki kesalahan yang ditemukan dalam teks.
3. Chatbot : Asisten dapat terlibat dalam percakapan normal dengan Anda.

Proses Penetapan Kesalahan:

Ketika pengguna melaporkan kesalahan, asisten suara pribadi mengambil tangkapan layar dari layar saat ini untuk menangkap masalah yang tepat. Gambar ini kemudian diproses menggunakan OpenCV untuk mengekstrak teks dari tangkapan layar. Teks yang diekstraksi dikirim ke model bahasa LLAMA 3, yang menganalisis konten dan menghasilkan respons atau solusi yang relevan. Asisten kemudian mengkomunikasikan langkah -langkah perbaikan atau masalah yang disarankan kembali ke pengguna, memastikan proses resolusi yang ramping dan efektif.

Memulai

Prasyarat

Pastikan Anda menginstal Python di sistem Anda. Anda dapat mengunduhnya dari python.org.

Instalasi

1. Klon Repositori:

   git clone https://github.com/kiritoInd/Personal-Voice-Assistant.git
   cd Personal-Voice-Assistant

2. Pasang paket yang diperlukan:

   pip install -r requirements.txt

Variabel Lingkungan

Buat file .env di direktori root proyek dan tambahkan kunci API GROQ Anda:

 GROQ_API_KEY = your_groq_api_key 

Menjalankan asisten

Jalankan perintah berikut untuk memulai asisten suara:

python main.py

Penggunaan

• Mulai Asisten : Klik tombol "Mulai bot" di GUI untuk memulai asisten.
• Kata pemicu : ucapkan "halo" untuk mengaktifkan asisten.
• Perintah :
  • Mainkan musik : "Mainkan [nama lagu] dari YouTube."
  • Perbaiki kesalahan : "Bisakah Anda memperbaiki kesalahan ini?"
  • Obrolan : Terlibat dalam percakapan normal.

Menambahkan lebih banyak fungsi

Anda dapat menambahkan lebih banyak fungsi ke asisten melalui daftar panggilan fungsi. Pelajari lebih lanjut tentang panggilan fungsi di Tutorial Panggilan Fungsi OpenAI DataCamp.

Anda dapat menggunakan hal yang sama untuk meta llama3

Menambahkan lebih banyak fungsi

Anda dapat menambahkan lebih banyak fungsi ke asisten melalui daftar panggilan fungsi. Pelajari lebih lanjut tentang panggilan fungsi di Tutorial Panggilan Fungsi OpenAI DataCamp.

Untuk menambahkan fungsi baru, perbarui function_calling_template dalam kode:

 function_calling_template = """ 
    <tools> {
    "name": "Your Function",
    "description": "Description of the function",
    "parameters": {
        "type": "object",
        "properties": {},
        "required": [],
    },
    } </tools>
  """ 

Perpustakaan dan API digunakan

• json
• speech_recognition
• pyttsx3
• groq
• Pillow
• opencv-python-headless
• pytesseract
• datasets
• torch
• transformers
• soundfile
• sounddevice
• requests
• beautifulsoup4
• keyboard
• tkinter

Lisensi

Proyek ini dilisensikan di bawah lisensi MIT - lihat file lisensi untuk detailnya.

Ucapan Terima Kasih

• Groqapi
• Meta
• Datacamp