pippaGPT

Pippagpt - Personalisierte, Einnahme, anhaltende, polymorphe, adaptive GPT -Chatbot

Pippa ist ein Open-Source-Chatbot-Projekt (Open-Source großes Sprachmodell), das auf dem Langchain-Framework basiert. Ziel ist es, eine personalisierte und adaptive Konversationserfahrung zu bieten.

PIPPA enthält verschiedene Funktionen, um den Anpassungsprozess zu verbessern, einschließlich der Möglichkeit, die Persönlichkeit des Chatbots anzupassen, Dokumente für das Lernen aufzunehmen, den Gesprächsverlauf zu erinnern, zwischen verschiedenen Charakteren zu wechseln und sich an die Bedürfnisse des Benutzers anzupassen.

Merkmale

• Personalisiert: Benutzer können die Persönlichkeit des Chatbots auf ein ansprechenderes und maßgeschneiderteres Gesprächserlebnis anpassen.
• Einnahme: Pippa kann Dokumente einnehmen und den Kontext extrahieren, sodass Benutzer ihre eigenen Dokumente in die Wissensbasis des Chatbot einbeziehen können.
• Persistent: PIPPA behält die Geschichte der Gespräche und ermöglicht es den Benutzern, vergangene Konversationskontexte zu überdenken.
• Polymorph: Pippa kann sich in Zeichen Ihrer Wahl verwandeln und durch benutzerdefinierte Anweisungen leicht anpassbar.
• Adaptiv: PIPPA passt sich den Bedürfnissen der Benutzer an, indem er seinen Konversationsstil und seine Antworten basierend auf dem Kontext geändert hat.

Das Abruf -QA -Modul wurde von LocalGPT durch prompte Engineering inspiriert.

Projekthintergrund

Das PIPPA -Projekt begann als persönliches Hobby, um die Möglichkeit zu untersuchen, einen AI -Tochtercharakter zu schaffen. Obwohl das Projekt noch in den frühen Phasen ist, wird es regelmäßig mit neuen Funktionen und Verbesserungen aktualisiert. Die Standardrollen in PIPPA sind "System" für Systemmeldungen, "Pippa" als fürsorgliche Tochtercharakter und "Bundy" als ihr Vater.

Bei Verwendung von TTS/STT -Motoren verwendet Pippa die Elevenlabs -API. Sie können sich für ein kostenloses Konto anmelden: https://elevenlabs.io.

Für eine bessere Erfahrung weisen Sie den Charakteren einzigartige Stimmen zu.

Installation

Getestet mit Python 3.10.

Befolgen Sie die folgenden Schritte, um PIPPA zu installieren:

1. Klonen Sie das Repository:

   git clone https://github.com/neobundy/pippaGPT.git

2. Navigieren Sie zum Projektverzeichnis:

   cd pippaGPT

3. Installieren Sie die erforderlichen Abhängigkeiten:

   pip install -r requirements.txt

Hinweis: Wenn Sie auf Fehler stoßen, müssen Sie möglicherweise zusätzliche Abhängigkeiten wie ffmpeg und portaudio installieren. Auf macOS können Sie Homebrew verwenden.

Um sie zu installieren, führen Sie die folgenden Befehle aus:

brew install ffmpeg
brew install portaudio

4. Erstellen oder kopieren Sie env_sample in .env -Datei im Stammordner des Projekts und fügen Sie Ihre API -Schlüssel hinzu:

Beachten Sie, dass Hugging_face_API_Key für die zukünftige Verwendung dient.

OPENAI_API_KEY=
XI_API_KEY=
HUGGING_FACE_API_KEY=
SERPAPI_API_KEY=

Alternativ können Sie diese Umgebungsvariablen in Ihr Terminal exportieren.

5. Kopieren Sie characters_samply.py in characters.py und bearbeiten Sie die Datei, um den Namen und die Persönlichkeit Ihrer KI anzupassen.

6. Kopieren Sie settings_private_sample.py in settings_private.py . settings_sample.py an settings.py und bearbeiten Sie die Dateien, um Ihre Einstellungen anzupassen.

7. Wählen Sie das LLMS -Modell in der Datei settings.py : PY:

 DEFAULT_GPT_MODEL = "gpt-3.5-turbo"
DEFAULT_GPT_HELPER_MODEL = "gpt-3.5-turbo-16k"
DEFAULT_GPT_QA_HELPER_MODEL = "gpt-3.5-turbo-16k"

• Default_gpt_model - Hauptmodell für die Konversation.
• Default_gpt_helper_model - Modell für Summarization Puffer Memories.
• Default_gpt_qa_helper_model - Modell zum Abrufen von QA.

Großer Kontext braucht mehr Token. 16K -Token reichen für die meisten Fälle aus.

Das GPT-4-Modell für default_gpt_model ist für eine bessere Erfahrung sehr empfohlen. Beachten Sie jedoch, dass es 10x teuer ist und nur für vorbezahlte OpenAI-Konten verfügbar ist.

8. Einige sensible oder benutzerspezifische Einstellungen, die in der settings_private.py wie ZEP Vector Store Server oder Audio Server-URLs enthalten sind.

 ZEP_API_URL = "http://localhost:8000"
DEFAULT_MEMORY_TYPE = "Summary Buffer"
AUDIO_SERVER_URL = "http://localhost:5000" 

Erinnerungen

Standardmäßig wird Langchains "Summary Buffer" -Sache verwendet, um den Konversationskontext beizubehalten.

Pippa unterstützt sechs Arten von Erinnerungen:

1. Schiebebefenster: ConversationBufferWindowMemory - behält eine bestimmte Anzahl von Nachrichten bei.
2. Token -Puffer: ConversationTokenBufferMemory - behält Nachrichten basierend auf einer bestimmten Anzahl von Token.
3. Zusammenfassungspuffer: ConversationSummaryBufferMemory - behält einen zusammengefassten Verlauf bei und speichert gleichzeitig alle Nachrichten.
4. Zusammenfassung: ConversationSummaryMemory - behält nur die Zusammenfassung.
5. Puffer: ConversationBufferMemory - Der grundlegendste Speichertyp, der die gesamte Geschichte von Nachrichten so speichert, so wie sie sind.
6. ZEP: Vektor Store

ZEP wird für einen großen Kontext sehr empfohlen. Es kann lokal als Docker -Container ausgeführt werden. Bearbeiten Sie die settings_private.py .

Zusammenfassungen werden angezeigt, wenn der Summary -Typ -Speicher einschließlich ZEP ausgewählt ist. Zusammenfassungen werden vom Summarization GTP -Helfermodell erzeugt.

Beachten Sie, dass es eine Weile dauert, bis ZEP Zusammenfassungen indexiert und generiert. Wenn Sie nicht bereit sind, "zusammenfassen ... Bitte seien Sie geduldig." Nachricht erscheint.

 ZEP_API_URL = "http://localhost:8000"

Der Zep Server kann auf jedem Host oder Port ausgeführt werden. Wenn Sie es auf einem anderen Host ausführen, sollten Sie die Variable ZEP_API_URL in settings_private.py aktualisieren.

Besuchen Sie https://www.getzep.com/, um zu erfahren, wie man Zep ausführt.

Ausführen der App

Verwenden Sie den folgenden Befehl, um die PIPPA -App auszuführen:

streamlit run main.py

Die App startet automatisch den Audio -Server, der auf Port 5000 hört. Bei Bedarf können Sie den Audio -Server manuell ausführen, indem Sie audio_server.py ausführen.

Nehmen Sie Ihre Dokumente ein

Um Ihre eigenen Dokumente für PIPPA zu nehmen, folgen Sie folgenden Schritten:

1. Platzieren Sie Ihre Dokumente (z. B. PDF, DOCX, XLSX, TXT, MD, PY) in den Ordner docs .
2. Führen Sie das Skript vectordb.py aus, um Ihre Vektor -Datenbank zu erstellen:

   python vectordb.py

TTS/STT -Motoren - Elevenlabs

Wenn Sie eine Elevenlabs-API-Schlüssel haben, können Sie den TTS-Motor (Text-to-Speech) mit PIPPA verwenden.

STT (Sprach-zu-Text) wird vom OpenAIs Whisper-1-Modell behandelt.

Folgen Sie folgenden Schritten:

1. Führen Sie das Skript tts.py aus, um die verfügbaren Sprachnamen und IDs aus Ihrem ElevenLabs -Konto zu erhalten:

   python tts.py

Aktualisieren Sie die folgenden Variablen in der settings_private.py mit den entsprechenden Sprach -IDs:

 VOICE_ID_AI = ""
VOICE_ID_SYSTEM = ""
VOICE_ID_HUMAN = ""

2. Die TTS/STT -Funktionen werden als Flask -Audioserver unterstützt. Der Server wird automatisch ausgeführt und auf Port 5000 anhören, wenn die App gestartet wird. Sie können den Server auch manuell ausführen, indem Sie audio_server.py ausführen.
3. Wenn das Audio -Kontrollkästchen überprüft wird, verwendet die App den Audio -Server, um Text in Sprache und Sprache in Text umzuwandeln. Auf MAC sollten Sie der App zulassen, Mikrofon in den Systemeinstellungen zu verwenden. Bei der ersten Verwendung werden Sie aufgefordert, dass die App das Mikrofon verwenden kann.
4. Die Schaltfläche "Aufzeichnungen" beginnt die Aufzeichnung, klicken Sie auf Stoppen, wenn Sie fertig sind. Die App konvertiert das aufgezeichnete Audio automatisch in Text und sendet es an den Chatbot.
5. Klicken Sie auf die TTS -Funktion auf die Schaltfläche Speak, die einer beliebigen Nachricht zugewiesen ist. Die App wandelt den Text automatisch in die Sprache um und spielt das Audio.
6. Um in den Tippmodus zurückzukehren, deaktivieren Sie einfach das Audio -Kontrollkästchen.

Keywords einschalten

Sie können die in PIPPA verwendeten Eingabeaufforderungsschlüsselwortpräfixe anpassen, indem Sie die Datei settings.py bearbeiten:

• PROMPT_KEYWORD_PREFIX_SYSTEM : Wird für temporäre Systemnachrichten verwendet (Standard: "System:")
• PROMPT_KEYWORD_PREFIX_CI : Wird zum Ersetzen benutzerdefinierter Anweisungen verwendet (Standard: "CI:")
• PROMPT_KEYWORD_PREFIX_QA : Wird zum Abrufen von QA basierend auf Ihren Dokumenten im Ordner docs (Standard: "QA:") verwendet
• PROMPT_KEYWORD_PREFIX_GOOGLE : Wird zum Durchsuchen des Webs für bestimmte Informationen verwendet (Standard: "Google:")
• PROMPT_KEYWORD_PREFIX_WIKI : verwendet zur Suche von Wikipedia (Standard: "Wiki:")
• PROMPT_KEYWORD_PREFIX_MATH : Wird für die mathematische Abfrage verwendet (Standard: "Math:")
• PROMPT_KEYWORD_PREFIX_MIDJOURNEY : Wird zur Generierung von MidJourney -Eingaben verwendet (Standard: "Midjourney:")

Wie Konversationen und Kontextfenster verwaltet und gespeichert werden

• Einen Schnappschuss: Ein Schnappschuss wird erfasst, wenn Pippa antwortet. Dieser Schnappschuss enthält die gesamte Konversation und nicht nur das Kontextfenster.
• Speichern von Gesprächen: Die Konversation wird im Ordner Conversations als JSON -Datei gespeichert, wenn der Benutzer auf die Schaltfläche "Konversation exportieren" klickt.
• Letzte Benutzereingabe: Die neueste Benutzereingabe wird in der Datei "Last_User_input.md im TEMP -Ordner" gespeichert. Dies wird verwendet, um die letzte Eingabe im Falle eines kritischen App -Fehlers wiederherzustellen, der die Eingabe zurücksetzt.
• Ein neues Gespräch beginnen: Beim Einleiten eines neuen Gesprächs werden sowohl das Kontextfenster als auch das Gespräch zurückgesetzt. Wenn Sie eine vorherige Konversation aus dem Dropdown -Menü "Load Conversation" auswählen, wird die JSON -Datei geladen und das Kontextfenster wiederhergestellt. Um das gesamte Gespräch wiederherzustellen, müssen Sie die App jedoch erneut ausführen. Beachten Sie, dass ZEP nicht mit anderen Langchain -Speichertypen kompatibel ist. Wenn Sie während eines laufenden Gesprächs zu ZEP wechseln, sollten Sie den neuesten Snapshot laden, um sowohl den Kontext als auch die gesamte Konversation in Zeps Vektor Store wiederherzustellen.

Streaming und kosten Informationen

Streaming ist standardmäßig aktiviert. Um es zu deaktivieren, ändern Sie die Datei Einstellungen.Py wie folgt:

 STREAMING_ENABLED = True

Wenn das Streaming aktiviert ist, sind die Kosten Annäherungen, die auf OpenAIs Dokumentation basieren. Um genaue Kosten zu erhalten, müssen Sie das Streaming deaktivieren.

Beachten Sie, dass die Kostenberechnung keine anderen Ausgaben enthält, die durch Hilfsmodelle entstehen, z. B. für die Zusammenfassung und die QS.

Agenten

Stellen Sie die folgende Konstante in settings.py ein. PY:

 DEFAULT_GPT_AGENT_HELPER_MODEL = "gpt-4"

‼ ️ Warnung: Diese Operation ist in Bezug auf OpenAI -Token sehr teuer.

 MAX_AGENTS_ITERATIONS = 8

Die Anzahl der Iterationen bestimmt, wie oft der Agent ausgeführt wird. Eine höhere Anzahl von Iterationen führt im Allgemeinen zu genaueren Antworten, verbraucht aber auch mehr Token.

Bitte beachten Sie, dass der Google -Suchagal möglicherweise mehrere Abfragen ausführen muss, um die beste Antwort zu erhalten.

Wenn Sie beispielsweise fragen: "Wer ist der älteste unter den Bundesstaat Südkorea, den USA und Japan?"

Das gleiche Modell kann unterschiedlich auf dieselbe Abfrage reagieren. Sogar 'GPT-4' führt nicht immer das Beste aus, sondern sehr zu empfehlen. Experimentieren mit verschiedenen Modellen.

Beachten Sie, dass es selbst auf Langchain -Ebene sehr experimentell ist. Es kann nicht wie erwartet funktionieren.

Suchen Sie Web

Es ist eine Hit-or-Miss-Situation, abhängig von Ihren Aufforderungsfähigkeiten. Sie benötigen einen Serpapi -API -Schlüssel, um die Google -Suchfunktion zu verwenden: https://serpapi.com. Die bereitgestellte endgültige Antwort dient als Zwischenaufforderung für das Hauptmodell.

Suche Wikipedia

Der Agent versucht zunächst, die relevante Wikipedia -Seite für die angegebene Abfrage zu finden. Wenn gefunden, wird die Zusammenfassung der Seite zurückgegeben und nach dem spezifischen Begriff innerhalb der Zusammenfassung gesucht.

Mathe

LLMs sind nicht für ihre Mathematikkenntnisse bekannt. Der Mathematikvertreter bietet genaue Antworten auf hochkomplexe mathematische Probleme.

Verwalten von Vektor DB

Führen Sie das Skript vectordb.py aus, um die Vektor -Datenbank zu verwalten.

   python vectordb.py

Sie haben die folgenden Optionen:

• (C) DB Reated: Erstellen Sie eine neue Vektor -Datenbank in den settings.CHROMA_DB_FOLDER -Ordner mit einer Sammlung mit dem Namen settings.VECTORDB_COLLECTION .
• (E) MBED-Konversationen: Einbetten von Gesprächen aus den settings.CONVERSATION_SAVE_FOLDER CONVERSATION_SAVE_FOLDER-Ordner in die Vektordatenbank, um als Langzeitspeicher zu dienen.
• (D) Elete Collection: Löschen Sie die Vektor -Datenbanksammlung. Diese Aktion löscht die Vektordatenbank selbst nicht.
• (Q) Uery die DB: Abfragen Sie die Vektordatenbank in einer Schleife ab. Geben Sie 'Beenden' oder 'Beenden' ein, um die Schleife zu beenden.

Beachten Sie, dass bei der Auswahl der Option (e) MBED -Konversationen nur die vorhandenen exportierten Konversationen *.json in die Vektor -Datenbank eingebettet werden, ausgenommen snapshot.json .

Fehlerbehebung

Wenn Sie beim Ausführen der App auf Fehler stoßen, versuchen Sie die folgenden Schritte aus:

pip install --upgrade charset_normalizer
pip install --upgrade openai
pip install --upgrade langchain

Lizenz

Pippa wird unter der Apache 2.0 -Lizenz veröffentlicht. Fühlen Sie sich frei, den Code für persönliche oder kommerzielle Zwecke zu verwenden, zu ändern und zu verteilen.