whispering ui

Flüsterung Tiger UI (Live Translate/Transcribe)

Die Flüsterung von Tiger UI ist ein gebürtiger UI , mit dem die flüsterende Tigeranwendung kontrolliert werden kann.

Whispering Tiger ist ein kostenloses und Open-Source-Tool, mit dem Sie mit Websockets oder Over OSC die Transkription oder Übersetzung in einen Webbrowser in einem Webbrowser oder über OSC ausdrucken können (Beispiele sind Streaming-Overlays oder VRchat ).

Inhalt

• Merkmale
• Herunterladen
• Tutorials
• Installation
• Aufstellen
  • Plugins Setup
  • Beispiel Setup von Plugin Voicevox (japanische TTS)
  • Spezifische Audiokonfiguration (TTS zu MIC, Spiele Audioübersetzung usw.)
  • Realtime -Konfiguration und Geschwindigkeitsverbesserungen
• Erweiterte Funktionen
• Zusätzliche Hilfe (Zwietracht)
• Screenshots

Merkmale

• Native-UI für Windows (und möglicherweise Linux in der Zukunft)
• Einfach für Anfänger und fortgeschrittene Benutzer zu bedienen
• Zugriff auf alle flüsternden Tigerfunktionen , darunter:
  • Transkription / Übersetzung von Audioströmen
  • Übersetzung von Texten
  • Text-to-Speech
  • Erkennung und Übersetzung von Bildern im Spiel
  • Anzeigen der Ergebnisse in einem Webbrowser oder VRchat mit Websockets oder OSC
• Loopback -Audiogeräte -Unterstützung zum Erfassen von PC -Audio ohne zusätzliche Tools
• Konfigurationen speichern und laden
• Vorschau , wenn Ihre ausgewählten Audiogeräte funktionieren
• Plugin -Unterstützung für zusätzliche Funktionen (finden Sie hier eine Liste von Plugins)
  • Echtzeit -Untertitel Plugin
  • Viele Text2speech -Plugins
  • Emotionsvorhersage Plugin
  • Derzeit spielen Song Plugin
  • Untertitel Export -Plugin
  • RVC-Plugin (Abrufbasierter Sprachkonvertierung)
  • Großsprachmodelle Plugin
  • Und mehr ...
• Auto-Update zur neuesten Version von Whispering Tiger .

Herunterladen

Laden Sie die neueste Version auf der Seite "Releases" herunter .

Tutorials

• Video -Tutorial " Whispering Tiger - Live -Übersetzung und Transkription ":

  

Installation

1. Extrahieren Sie nach dem Herunterladen der neuesten Version aus den [ Releases ] in einem Ordner Ihrer Wahl auf einem Laufwerk mit genügend freiem Speicherplatz.

   (Führen Sie es nicht direkt aus der ZIP -Datei aus, laufen Sie nicht vom externen Laufwerk aus.)

2. Installieren Sie die CUDA für die GPU -Beschleunigung (optional, aber für NVIDIA -GPUs empfohlen).

3. Führen Sie die flüsterliche Tiger.exe -Datei aus.

4. Lassen Sie es die neueste Version von Whispering Tiger herunterladen. (Es wird aufgefordert, die Plattform herunterzuladen.)

5. Nachdem der Download beendet ist, können Sie ein Profil erstellen und mit der Whispering Tiger -Anwendung beginnen.

   • Bei dem ersten Start wird die KI -Modelle heruntergeladen, die eine Weile dauern können, abhängig von Ihrer ausgewählten Modellgröße. (Derzeit wird der Status der Modelldownloads nicht angezeigt.)

Aufstellen

1. Erstellen Sie ein Profil , indem Sie einen Namen eingeben und auf die neue Schaltfläche klicken.

2. Websocket IP + Port kann an den Standardwerten "127.0.0.1" und "5000" aufbewahrt werden.

   • Diese sind nur nützlich, wenn Sie mehrere Instanzen ausführen oder die Backend -Plattform auf einem separaten PC ausgeführt haben.
   • Wenn Sie mehrere Instanzen ausführen möchten, müssen Sie den Port für jede Instanz ändern.

3. Wählen Sie Ihre Audioeingangs- und Ausgabegeräte aus. Sie können sie testen, indem Sie in Ihr Mikrofon sprechen und auf die Testtaste klicken.

   • Sie sollten sehen, wie sich die Audio -Eingangsleiste bewegt, wenn Sie sprechen. Hören Sie ein Test-Audio und sehen Sie, wie sich die Audioausgabebeiste bewegt, wenn Sie auf die Testschaltfläche klicken.

     

   • Weitere Informationen zu bestimmten Audio -Setups finden Sie auch Audiokonfiguration (TTS zu MIC, Game Audio Translation usw.) .

     (Wie wenn Sie Audio von Spielen, Videos oder Streams übersetzen möchten, die auf Ihrem PC gespielt werden, anstatt ein Mikrofon als Eingabe zu verwenden.)

4. (Optional) Verwenden Sie Push, um zu sprechen. Klicken Sie in das Feld und drücken Sie die Tasten, die Sie für den Druck zum Gespräch verwenden möchten

   (Drücken Sie jede Taste separat, um zu konfigurieren. Beim Ausführen des Profils müssen alle Tasten gleichzeitig gedrückt werden, wenn Sie Push to Talk verwenden).

   • Um die Autodetekte der Sprache zu deaktivieren, um nur Push zum Sprechen zu verwenden, setzen Sie die Erkennung Speech volume Level und Speech pause detection auf 0.

5. Behalten Sie den geschätzten Speicherverbrauch in der unteren rechten Ecke im Auge .

   Es ist nur eine grobe Schätzung und kann variieren, aber es sollte Ihnen eine Vorstellung davon geben, wie viel (V-) RAM Sie für Ihre ausgewählten KI-Modelle benötigen. und Optionen.

   

6. Wählen Sie das KI-Gerät für Sprach- und Textübersetzung gemäß Ihrer Hardware aus.

   • CUDA ( erfordert eine NVIDIA -GPU ) oder CPU.
   • CUDA lädt die KI in V-RAM und ist schneller als CPU.

7. Wählen Sie die Größe der Sprache zu Text und Textübersetzung aus.

   • Je größer die Größe ist, desto genauer, aber auch langsamer wird die Transkription.
   • Je größer die Größe ist, desto mehr (V-) RAM wird er verwendet.
   • Hinweis: Das KI -Modell der ausgewählten Größe und Präzision wird automatisch heruntergeladen, wenn Sie die Anwendung zum ersten Mal starten.

8. Wählen Sie die Präzision mit Sprach- und Text-Präzision und Textübersetzung aus

   • Je höher die Präzision, desto genauer und desto mehr (V-) RAM wird verwendet. ( Die Genauigkeitsunterschiede sind jedoch fast vernachlässigbar ).
   • Moderne GPUs haben eine bessere Beschleunigung für float16 .
   • Die einzige Unterstützung von CPU unterstützt float32 , int16 oder int8 -Präzision.

Notiz:

• Sie können mit den Werten spielen, bis Sie Ihre gewünschten Ergebnisse erzielen.
• Wenn etwas nicht funktioniert, überprüfen Sie das Protokoll unter der Registerkarte Erweitert . Und prüfen Sie nach einem Fehler.
• Aktivieren Sie das Schreiben von Protokoll in Datei, um das Protokoll in einer Datei zu speichern.

Plugins Setup

• Installieren Sie Plugins direkt mit der Benutzeroberfläche oder ..
• Plugins manuell installieren.
  • Wählen Sie hier Ihr gewünschtes Plugin aus der Liste der Plugins aus.
  • Laden Sie die *.py -Datei herunter und platzieren Sie sie im Plugins -Ordner.
  • Starten Sie die Anwendung neu.
  • Das Plugin sollte jetzt auf der Registerkarte Plugins verfügbar sein.

Notiz:
Die meisten Plugins verfügen über bestimmte Einstellungen, die in den Textboxen des Plugins in der Registerkarte Plugins konfiguriert werden können.

Siehe auch Beispiel für Plugin Voicevox (japanische TTS) als Beispiel, wie das VoiceVox -Plugin eingerichtet wird.

Spezifisches Nutzungsaufbau

• Audiokonfiguration (TTS zu MIC, Spiele Audioübersetzung usw.)
• Realtime -Konfiguration und Geschwindigkeitsverbesserungen

Erweiterte Funktionen

• Größere UI-Skalierung (VR-Mode)

Zusätzliche Hilfe

Für zusätzliche Hilfe können Sie mitmachen

• Tiger flüstert auf Zwietracht

Screenshots