Personal Voice Assistant Using LLM FunctionCalling

Personal Voice Assistant

Dies ist ein persönlicher Sprachassistent, der verschiedene Aufgaben wie das Spielen von Musik von YouTube, das Beheben von Fehlern und das Chatten mit Ihnen wie ein normaler Chatbot ausführen kann. Der Assistent wird mit Python gebaut und nutzt mehrere Bibliotheken und APIs, um seine Funktionen bereitzustellen.

Vorschau

Sehen Sie sich das Video an

Merkmale

1. Spielen Sie Musik von YouTube : Sie können den Assistenten bitten, Musik von YouTube basierend auf einer Suchanfrage zu spielen.
2. Fehler beheben : Der Assistent kann einen Screenshot aufnehmen, Text aus dem Bild extrahieren und versuchen, alle im Text gefundenen Fehler zu beheben.
3. Chatbot : Der Assistent kann mit Ihnen normale Gespräche führen.

Fehlerbehebungsprozess:

Wenn ein Benutzer einen Fehler meldet, macht der persönliche Sprachassistent einen Screenshot des aktuellen Bildschirms, um das genaue Problem zu erfassen. Dieses Bild wird dann mit OpenCV verarbeitet, um den Text aus dem Screenshot zu extrahieren. Der extrahierte Text wird an das LAMA 3 -Sprachmodell gesendet, das den Inhalt analysiert und eine relevante Antwort oder Lösung generiert. Der Assistent kommuniziert dann die vorgeschlagenen Schritte zur Behebung oder Fehlerbehebung an den Benutzer, um einen optimierten und effektiven Auflösungsprozess zu gewährleisten.

Erste Schritte

Voraussetzungen

Stellen Sie sicher, dass Sie Python auf Ihrem System installiert haben. Sie können es von python.org herunterladen.

Installation

1. Klonen Sie das Repository:

   git clone https://github.com/kiritoInd/Personal-Voice-Assistant.git
   cd Personal-Voice-Assistant

2. Installieren Sie die erforderlichen Pakete:

   pip install -r requirements.txt

Umgebungsvariablen

Erstellen Sie eine .env -Datei im Stammverzeichnis des Projekts und fügen Sie Ihren COQ -API -Schlüssel hinzu:

 GROQ_API_KEY = your_groq_api_key 

Den Assistenten ausführen

Führen Sie den folgenden Befehl aus, um den Sprachassistenten zu starten:

python main.py

Verwendung

• Starten Sie den Assistenten : Klicken Sie in der GUI auf die Schaltfläche "Bot starten", um den Assistenten zu starten.
• Auslöser Wort : Sagen Sie "Hallo", um den Assistenten zu aktivieren.
• Befehle :
  • Musik abspielen : "Spielen Sie [Songname] von YouTube."
  • Fehler beheben : "Können Sie diesen Fehler beheben?"
  • CHAT : Normale Gespräch betreiben.

Weitere Funktionen hinzufügen

Sie können dem Assistenten über die Funktionsaufrufliste mehr Funktionen hinzufügen. Erfahren Sie mehr über Funktionen bei DataCamps OpenAI -Funktionsanruf -Tutorial.

Sie können dasselbe für meta llama3 verwenden

Weitere Funktionen hinzufügen

Sie können dem Assistenten über die Funktionsaufrufliste mehr Funktionen hinzufügen. Erfahren Sie mehr über Funktionen bei DataCamps OpenAI -Funktionsanruf -Tutorial.

Um neue Funktionen hinzuzufügen, aktualisieren Sie die function_calling_template im Code:

 function_calling_template = """ 
    <tools> {
    "name": "Your Function",
    "description": "Description of the function",
    "parameters": {
        "type": "object",
        "properties": {},
        "required": [],
    },
    } </tools>
  """ 

Bibliotheken und APIs verwendet

• json
• speech_recognition
• pyttsx3
• groq
• Pillow
• opencv-python-headless
• pytesseract
• datasets
• torch
• transformers
• soundfile
• sounddevice
• requests
• beautifulsoup4
• keyboard
• tkinter

Lizenz

Dieses Projekt ist unter der MIT -Lizenz lizenziert - Einzelheiten finden Sie in der Lizenzdatei.

Anerkennung

• Goqapi
• Meta
• DataCamp