Groq API

GROQ API -Chat -Assistent

Der COQ -API -Chat -Assistent ist ein Tool, das die CROQ -API verwendet, um einen Chat -Assistenten zu erstellen, der Antworten auf Benutzeranfragen oder -Eingabeaufforderungen generieren kann. Es nutzt große Sprachmodelle (LLMs), um informative und kontextbezogene Antworten zu geben, sodass sie für eine Vielzahl von Anwendungen wie Kundensupport, Informationsabruf und Konversationsschnittstellen geeignet sind.

Installation

Um dieses Projekt auszuführen, müssen Sie die erforderlichen Abhängigkeiten installieren. Führen Sie den folgenden Befehl in Ihrem Colab -Notizbuch aus:

 ! pip install -q -U langchain langchain_core langchain_groq gradio

Erste Schritte:

Um dieses Notebook zu verwenden, müssen Sie Folgendes haben:

• Python 3.6+
• Google Colab -Konto
• CROQ -API -Schlüssel (Sie können sich für ein kostenloses Konto unter goq.ai anmelden)

Verwendung

1. Initialisieren Sie das Modell:

 from google . colab import userdata
groq_api_key = userdata . get ( 'GROQ_API_KEY' )

from langchain_groq import ChatGroq

chat = ChatGroq (
    api_key = groq_api_key ,
    model_name = "mixtral-8x7b-32768"
)

2. Erstellen Sie eine Kette:

 from langchain_core . output_parsers import StrOutputParser

chain = prompt | chat | StrOutputParser ()

response = chain . invoke ({ "text" : "Why is the sky blue?" })
print ( response )

3. Erstellen Sie eine App:

 import gradio as gr

def fetch_response ( user_input ):
    chat = ChatGroq (
        api_key = groq_api_key ,
        model_name = "mixtral-8x7b-32768"
    )
    system = "You are a helpful assistant."
    human = "{text}"

    prompt = ChatPromptTemplate . from_messages (
        [
            ( "system" , system ), ( "human" , human )
        ]
    )
    chain = prompt | chat | StrOutputParser ()
    output = chain . invoke ({ "text" : user_input })
    return output

user_input = "Why is the sky blue?"

fetch_response ( user_input )

4. Erstellen Sie eine Schnittstelle:

 iface = gr . Interface (
    fn = fetch_response ,
    inputs = "text" ,
    outputs = "text" ,
    title = "Groq Chatbot" ,
    description = "Ask a question and get a response."
)

iface . launch ()

API -Referenz

• CHATGROQ: Diese Klasse initialisiert die CROQ -API für die Chat -Funktionalität. Es erfordert einen API -Schlüssel und einen Modellnamen als Parameter.
• ChatpromptTemplate: Diese Klasse erstellt eine Chat -Eingabeaufforderung für die Interaktion mit der COQ -API.
• StroutputParser: Diese Klasse analysiert die Ausgangsantwort aus der GROQ -API in ein String -Format.

Zusätzliche Notizen

• Der Code ist in mehrere Abschnitte unterteilt, einschließlich Installationsanweisungen, Importe, Modellinitialisierung und der Hauptfunktion.
• Stellen Sie sicher, dass Sie einen gültigen GROQ_API_KEY haben, um auf die GROQ -API zuzugreifen.
• Die gradio -Bibliothek wird verwendet, um eine Schnittstelle für den Chatbot zu erstellen.
• Die bereitgestellte Aktienverbindung läuft in 72 Stunden ab. Für dauerhafte Hosting- und GPU -Upgrades sollten Sie die Bereitstellung auf Leerzeichen mithilfe von gradio deploy von Terminal in Betracht ziehen.

Anerkennung

• Dokumentation von GROQ API
• Langchain -Dokumentation
• Gradio -Dokumentation

Autoren

• @Shubham bhatia

Rückmeldung

Wenn Sie Feedback haben, wenden Sie sich bitte an mich unter [email protected]