Personal Voice Assistant Using LLM FunctionCalling

Assistente de voz pessoal

Este é um assistente de voz pessoal que pode executar várias tarefas, como tocar música do YouTube, corrigir erros e conversar com você como um chatbot normal. O assistente é construído usando o Python e aproveita várias bibliotecas e APIs para fornecer suas funcionalidades.

Visualização

Assista ao vídeo

Características

1. Tocar música do YouTube : você pode pedir ao assistente que tocar música do YouTube com base em uma consulta de pesquisa.
2. Corrija erros : o assistente pode tirar uma captura de tela, extrair texto da imagem e tentar corrigir quaisquer erros encontrados no texto.
3. Chatbot : O assistente pode se envolver em conversas normais com você.

Processo de correção de erro:

Quando um usuário relata um erro, o assistente de voz pessoal recebe uma captura de tela da tela atual para capturar o problema exato. Esta imagem é então processada usando o OpenCV para extrair o texto da captura de tela. O texto extraído é enviado ao modelo de idioma LLAMA 3, que analisa o conteúdo e gera uma resposta ou solução relevante. O assistente comunica então a correção sugerida ou a solução de problemas de volta ao usuário, garantindo um processo de resolução simplificado e eficaz.

Começando

Pré -requisitos

Certifique -se de ter o Python instalado no seu sistema. Você pode baixá -lo em python.org.

Instalação

1. Clone o repositório:

   git clone https://github.com/kiritoInd/Personal-Voice-Assistant.git
   cd Personal-Voice-Assistant

2. Instale os pacotes necessários:

   pip install -r requirements.txt

Variáveis de ambiente

Crie um arquivo .env no diretório raiz do projeto e adicione sua tecla API GROQ:

 GROQ_API_KEY = your_groq_api_key 

Executando o assistente

Execute o seguinte comando para iniciar o assistente de voz:

python main.py

Uso

• Inicie o assistente : clique no botão "Iniciar bot" na GUI para iniciar o assistente.
• Trigger Word : diga "Olá" para ativar o assistente.
• Comandos :
  • Toque Music : "Play [Nome da música] do YouTube".
  • Corrija o erro : "Você pode corrigir este erro?"
  • Chat : envolva -se em uma conversa normal.

Adicionando mais funções

Você pode adicionar mais funcionalidades ao assistente através da lista de chamadas de funções. Saiba mais sobre a chamada de função no tutorial de chamada de função do Datacamp.

Você pode usar o mesmo para meta llama3

Adicionando mais funções

Você pode adicionar mais funcionalidades ao assistente através da lista de chamadas de funções. Saiba mais sobre a chamada de função no tutorial de chamada de função do Datacamp.

Para adicionar novas funções, atualize o function_calling_template no código:

 function_calling_template = """ 
    <tools> {
    "name": "Your Function",
    "description": "Description of the function",
    "parameters": {
        "type": "object",
        "properties": {},
        "required": [],
    },
    } </tools>
  """ 

Bibliotecas e APIs usadas

• json
• speech_recognition
• pyttsx3
• groq
• Pillow
• opencv-python-headless
• pytesseract
• datasets
• torch
• transformers
• soundfile
• sounddevice
• requests
• beautifulsoup4
• keyboard
• tkinter

Licença

Este projeto está licenciado sob a licença do MIT - consulte o arquivo de licença para obter detalhes.

Agradecimentos

• Groqapi
• Meta
• Datacamp