S.A.T.U.R.D.A.Y

Projekt Samstag

Eine Toolbox für Vocal Computing, die mit Pion, Whisper.cpp und Coqui TTs erstellt wurde. Bauen Sie Ihren persönlichen, selbst gehosteten Jarvis, der von Webrtc betrieben wird

Demo anzeigen • Erste Schritte • Features anfordern •

Inhaltsverzeichnis

1. Über das Projekt
   • Wie es funktioniert
   • Diagramm
2. Erste Schritte
   • Voraussetzungen
3. Roadmap
4. Zwietracht
5. Gebaut mit
6. Käfer
7. Beitragen
8. Lizenz
9. Unterstütze mich
10. Kontaktieren Sie mich

Über das Projekt

Project Saturday ist eine Toolbox für Vocal Computing. Es bietet Werkzeuge zum Aufbau eleganter Vokalschnittstellen für moderne LLMs. Das Ziel dieses Projekts ist es, eine Gemeinschaft gleichgesinnter Personen zu fördern, die die Technologie hervorbringen wollen, die uns seit Jahrzehnten in Science-Fiction-Filmen versprochen wird. Ziel ist es, sehr modular und flexibel zu sein und gleichzeitig von bestimmten KI -Modellen entkoppelt zu bleiben. Dies ermöglicht nahtlose Upgrades, wenn eine neue KI -Technologie veröffentlicht wird.

Wie es funktioniert

Das Projekt Samstag besteht aus Werkzeugen. Ein Tool ist eine Abstraktion, die einen bestimmten Teil des Stapels des Vocal Computing zusammenfasst. Es gibt 2 Hauptkonstrukte, die ein Werkzeug umfassen:

• Engine - Ein Motor verkauft die domänenspezifische Funktionalität eines Tools. Diese Logik sollte unabhängig vom verwendeten Inferenz -Backend gleich bleiben. Beispielsweise enthält der Motor im Fall des STT -Tools den Algorithmus zur Erkennung der Sprachaktivität zusammen mit einer benutzerdefinierten Pufferlogik. Auf diese Weise kann das Backend leicht geändert werden, ohne den Code neu zu schreiben.

• Backend - Ein Backend ist das, was die KI -Inferenz tatsächlich ausführt. Dies ist normalerweise ein dünner Verpackung, ermöglicht jedoch mehr Flexibilität und einfache Upgrade. Ein Backend kann auch an die Schnittstelle mit einem HTTP-Server geschrieben werden, um eine einfache Sprache zu ermöglichen.

Dieses Projekt enthält 3 Hauptarten von Werkzeugen. Die 3 Hauptwerkzeuge sind STT, TTT und TTS.

STT (Sprache zu Text)

STT-Tools sind die Ohren des Systems und führen Sprach-zu-Text-Inferenz für eingehende Audio durch.

TTT (Text-to-Text)

TTT-Tools sind das Gehirn des Systems und führen eine Inferenz für Text zu Text aus, sobald das Audio in Text umgewandelt wurde.

TTS (Text-to-Speech)

TTS-Tools sind der Mund des Systems und führen eine Inferenz von Text zu Sprache im Text aus, das vom TTT-Tool beweist.

Diagramm

Hier ist ein Diagramm, wie die Hauptdemo derzeit funktioniert.

Erste Schritte

Die Demo, die in diesem Repo kommt, ist Ihr persönlicher, selbst gehosteter Jarvis-Assistent.

Haftungsausschluss : Ich habe dies nur auf M1 Pro- und Max -Prozessoren getestet. Wir machen eine Menge lokaler Schlussfolgerung, sodass die Demo einiges an Verarbeitungsleistung erfordert. Ihre Kilometerleistung kann sehr auf verschiedenen Betriebssystemen und Hardware. Wenn Sie auf Probleme stoßen, öffnen Sie bitte ein Problem.

Um die Demo zu leiten, gibt es einige Voraussetzungen.

Voraussetzungen

Um die Demo zu leiten, sind Golang, Python, Make und ein C -Komplizierter erforderlich.

Es gibt 3 Prozesse, die für die Demo ausgeführt werden müssen:

• RTC - Der RTC -Server hostet die Webseite und einen WebRTC -Server. Der WEBRTC -Server ist das, worauf Sie eine Verbindung herstellen, wenn Sie die Seite laden, und es ist auch das, mit dem der Client eine Verbindung herstellt, um Ihr Audio anzuhören.
• Kunde - Der Kunde ist dort, wo die gesamte Magie passiert. Wenn es gestartet wird, verbindet es sich dem RTC -Server und hört auf Ihr Audio an. Wenn Sie mit dem Sprechen beginnen, wird das eingehende Audio bis zum Anhalten des ankommenden Audios gepuffert. Sobald Sie nicht mehr sprechen, werden STT -Inferenz auf diesem Audio ausgeführt, übergeben Sie es an das TTT -Tool, um eine Antwort auf Ihren Text zu generieren und diese Ausgabe an das TTS -Tool zu übergeben, um diese Antwort in Sprache zu verwandeln. Es sind 2 Systembibliotheken erforderlich, um die Client pkg-config und opus zu verwenden. Auf macOS können diese mit Brew installiert werden:

brew install opus pkg-config

• TTS - Auf dem TTS -Server wird der Text aus dem TTT -Tool in Sprache tranformiert. In der Demo verwendet dies Coqui TTS. Es gibt 2 Systembibliotheken, die für dieses Tool mecab und espeak benötigt werden. Auf macOS können sie mit Brew installiert werden:

brew install mecab espeak

Hinweis : Derzeit ist die Reihenfolge, in der Sie die Prozesse starten, von Bedeutung. Sie müssen den RTC -Server und den TTS -Server starten , bevor Sie den Client starten.

1. RTC

make rtc aus der Wurzel des Projektlaufs

make rtc

2. TTS

Erstes Setup : Wenn Sie den TTS -Server zum ersten Mal ausführen, müssen Sie die Abhängigkeiten installieren. Erwägen Sie dafür eine virtuelle Umgebung.

 cd tts/servers/coqui-tts
pip install -r requirements.txt

Aus der Wurzel des Projektlaufs make tts

3. Kunde

Der Kunde benötigt whisper.cpp und die Verwendung von cgo , das Skript sollte sich jedoch für Sie darum kümmern.

Aus der Wurzel des Projektlaufs make client

make client

Roadmap

Lokale Inferenz

Die Hauptsache auf der Roadmap ist, dass TTT -Inferenz mit so etwas wie Lama.cpp vor Ort läuft. Zum Zeitpunkt der Veröffentlichung habe ich kein großartiges Internet und kann die Modellgewichte nicht herunterladen, die erforderlich sind, um dies zum Laufen zu bringen.

Benutzerfreundlichkeit

Der zweitgrößte Artikel auf meiner Roadmap verbessert weiterhin den Einrichtungs- und Konfigurationsprozess.

Gebäude mit Samstag

Die letzte Sache auf meiner Roadmap ist, weiterhin Bewerbungen mit Samstag zu erstellen. Ich hoffe, dass mehr Menschen zusammen mit mir aufbauen, da dies die Nummer 1 ist, um das Projekt zu verbessern und neue Funktionen aufzudecken, die hinzugefügt werden müssen.

Zwietracht

Schließen Sie sich der Zwietracht an, um auf dem Laufenden zu bleiben!

Gebaut mit

Dieses Projekt wird mit den folgenden Open -Source -Paketen erstellt:

• Pion
• flüster.cpp
• Coqui tts

Käfer

Ich bin sehr von Perfect und es wird zwangsläufig Fehler und Dinge geben, die ich im Installationsprozess übersehen habe. Bitte fügen Sie Probleme hinzu und können Sie sich gerne wenden, wenn etwas unklar ist. Außerdem haben wir eine Zwietracht.

Beitragen

Beiträge machen die Open -Source -Community zu einem erstaunlichen Ort, um zu lernen, zu inspirieren und zu kreieren. Alle Beiträge, die Sie leisten, werden sehr geschätzt .

1. Geben Sie das Projekt auf
2. Erstellen Sie Ihre Feature -Zweigstelle: git checkout -b feature/AmazingFeature
3. Bestimmen Sie Ihre Änderungen: git commit -m 'Add some AmazingFeature'
4. Drücken in den Zweig: git push origin feature/AmazingFeature
5. Öffnen Sie eine Pull -Anfrage

Lizenz

MIT

Unterstütze mich

Wenn Sie das Projekt mögen und finanziell unterstützen möchten, können Sie mir gerne einen Kaffee kaufen

Kontaktieren Sie mich

Github @grvydev · twitter @grvydev · per E -Mail an [email protected] per E -Mail