Daisy openAI chat

? Daisy.py?

Daisy est une plate-forme Python conçue pour fonctionner avec des API de modèle linguistique telles que GPT-3 et GPT-4 d'OpenAI. Il comprend une suite de classes et de méthodes qui peuvent être utilisées pour développer des modules qui peuvent être ajoutés dynamiquement pour étendre et augmenter les capacités de raisonnement des modèles de grande langue. Notamment, Daisy intègre des "formes d'outils" qui permettent à Daisy d'utiliser des ressources supplémentaires telles que la recherche Web, le traitement de contexte, la revue de la mémoire / la conversation, les calculs, etc.

? Commencer

Installer les packages nécessaires

 pip install  -r  requirements.txt

Mettre à jour config.py avec les informations nécessaires et activer les modules souhaités.

Jetez également un œil aux fichiers de modules individuels pour comprendre comment ils sont chargés. Vous pouvez faire le vôtre!

 #Modules are loaded in the order they are listed here.
enabled_modules:
- modules.DanPrompt 
#Insert a DAN-like prompt to enable Daisy to "Do Anything Now"

- modules.DaisyPrompt 
#Give Daisy a few extra rules for behaving as a voice assistant

- modules.Daisy 
#Daisy voice assistant front-end

- modules.WebConfigDjango.WebConfigDjango
#Daisy web config tool based on Django

- modules.Dashboard_WebConfigDjango.Dashboard_WebConfigDjango
#Dynamically loaded route (new routes can be loaded through hooks as well)

#TTS Modules (Only the first one is loaded)
- modules.TtsElevenLabs
#TTS from ElevenLabs
- modules.GoogleCloudTTS
#TTS from ElevenLabs
- modules.GoogleTTS
#TTS from Google Translate TTS endpoint

- modules.GoogleScraper
#SerpAPI Google search result scraping tool

- modules.Calculator
#Python eval() to solve solvable expression strings

- modules.WeatherNoaaNl.WeatherNoaaNl
#Natural language to lat/lon weather forecast from NOAA.gov

- Memories
#Retrieve name/summary of all conversations in the sqlite DB

...See configs.yaml  or more configurations...

Exécuter Daisy (plate-forme)

 py main.py

? Capacités

Daisy accepte différents types de "modules" développés par l'utilisateur. Un module vocal assistant est livré avec le projet comme une "preuve de concept". Les configurations et les applications possibles créées à l'aide de Daisy pourraient inclure:

• Applications Web
• API de traitement conversationnel
• Interprétation de la vision par ordinateur
• Initiation autonome (avec la sensibilisation au temps, Daisy pourrait envoyer un message ou une forme d'outil sans entrée utilisateur)
• Service client IVR (qui pourrait être puissant avec les formes d'outils API sur le back-end).
• Les possibilités sont infinies, il vous suffit de créer ce que vous voulez voir dans le monde. Cette plate-forme facilite cela.

Gardez à l'esprit: Daisy est toujours en développement. Il évoluera et va considérablement au cours des prochains mois alors que les contributeurs améliorent la fonctine en améliorant le code de la plate-forme, en adminant des crochets et en développant leurs propres modules.

«Services

Daisy utilise les API suivantes pour le traitement des conversations:

• Modèle de langue: Openai Chatgpt
• Speech-to-Text (STT): Assemblyai
• Texte-to-dispection (TTS): ElevenLabs (qualité), Google Cloud TTS (pas cher), Google Translate TTS (gratuit!)
• Mot de réveil (local): Picovice Porcupine
• Des API locales alternatives sont disponibles et doivent être facilement interchangeables si vous choisissez de les utiliser. Dans certains cas, ils peuvent être déplacés sous forme de modules. Dans tous les autres cas, un crochet de code peut être ajouté pour le rendre interchangeable.

? Arrière-plan

J'ai eu hâte d'avoir une conversation avec Chatgpt en utilisant ma voix. J'avais l'habitude de rechercher quotidiennement un programme qui pourrait échanger entre la reconnaissance vocale et les TT pour une véritable conversation humaine, mais ce n'est que récemment que j'en ai découvert un.

Alors bien sûr, j'ai commencé à faire ce que je voulais dans le monde. J'ai commencé à travailler sur un script de reconnaissance vocale pour Chatgpt. Il a commencé avec des demandes simples, telles que l'intégration d'une demande d'OpenIA API et le réinstallation de la sortie de la reconnaissance vocale. Depuis lors, le projet est devenu une plate-forme de création d'applications, ouvrant la porte à un potentiel infini.

Certaines personnes soutiennent que les modèles de texte et l'IA ne réfléchissent pas, mais utilisent simplement des heuristiques. Cependant, lorsque nous nous examinons, nous sommes aussi simplement une collection de comportements et de réponses apprises. Bien que le GPT puisse ne pas être parfait, il est important de réfléchir à nous-mêmes et de déterminer à quel point nous sommes vraiment meilleurs.

? Compatibilité

Ce logiciel est conçu pour s'exécuter sur Windows et Linux.

✅ à faire

• LLMS (API ou local) comme modules
• Enregistrer et envoyer des e-mails
• Gérer les contextes de conversation de chargement ou d'exportation à partir de WebConfig
• Apprenez à connaître les utilisateurs. Par exemple, gardez une trace d'un profil de persnalité afin que vous puissiez commencer à poser des questions comme "Qu'est-ce que ma femme aimerait pour son anniversaire?"
  • Utilisation de pyannote.audio pour diariser les haut-parleurs et les identifier dans chaque message "utilisateur"
  • Demandez à l'IA de comparer chaque message d'un utilisateur spécifique à son profil de personnalité et ajoutez de nouveaux bits s'il entend quelque chose de nouveau.
• Résumer et réinitialiser les contextes lorsqu'une conversation atteint une valeur de jeton maximale