Groq API

Asistente de chat de API de Groq

El Asistente de chat de la API Groq es una herramienta que utiliza la API Groq para crear un asistente de chat capaz de generar respuestas a consultas o indicaciones de los usuarios. Aprovecha los modelos de idiomas grandes (LLM) para proporcionar respuestas informativas y contextualmente relevantes, lo que lo hace adecuado para una variedad de aplicaciones como atención al cliente, recuperación de información e interfaces conversacionales.

Instalación

Para ejecutar este proyecto, debe instalar las dependencias necesarias. Ejecute el siguiente comando en su cuaderno Colab:

 ! pip install -q -U langchain langchain_core langchain_groq gradio

Empezando:

Para usar este cuaderno, deberá tener lo siguiente:

• Python 3.6+
• Cuenta de Google Colab
• Clave de API Groq (puede registrarse para obtener una cuenta gratuita en Groq.ai)

Uso

1. Inicializar el modelo:

 from google . colab import userdata
groq_api_key = userdata . get ( 'GROQ_API_KEY' )

from langchain_groq import ChatGroq

chat = ChatGroq (
    api_key = groq_api_key ,
    model_name = "mixtral-8x7b-32768"
)

2. Crea una cadena:

 from langchain_core . output_parsers import StrOutputParser

chain = prompt | chat | StrOutputParser ()

response = chain . invoke ({ "text" : "Why is the sky blue?" })
print ( response )

3. Cree una aplicación:

 import gradio as gr

def fetch_response ( user_input ):
    chat = ChatGroq (
        api_key = groq_api_key ,
        model_name = "mixtral-8x7b-32768"
    )
    system = "You are a helpful assistant."
    human = "{text}"

    prompt = ChatPromptTemplate . from_messages (
        [
            ( "system" , system ), ( "human" , human )
        ]
    )
    chain = prompt | chat | StrOutputParser ()
    output = chain . invoke ({ "text" : user_input })
    return output

user_input = "Why is the sky blue?"

fetch_response ( user_input )

4. Cree una interfaz:

 iface = gr . Interface (
    fn = fetch_response ,
    inputs = "text" ,
    outputs = "text" ,
    title = "Groq Chatbot" ,
    description = "Ask a question and get a response."
)

iface . launch ()

Referencia de API

• CHATGROQ: Esta clase inicializa la API Groq para la funcionalidad de chat. Requiere una clave API y un nombre de modelo como parámetros.
• ChatPromptTemplate: esta clase crea una plantilla de solicitud de chat para interactuar con la API Groq.
• StroutputParser: esta clase analiza la respuesta de salida de la API Groq en un formato de cadena.

Notas adicionales

• El código se divide en varias secciones, incluidas las instrucciones de instalación, las importaciones, la inicialización del modelo y la función principal.
• Asegúrese de tener un GROQ_API_KEY válido para acceder a la API Groq.
• La biblioteca gradio se utiliza para crear una interfaz para el chatbot.
• El enlace de acciones proporcionado expira en 72 horas. Para alojamiento permanente y actualizaciones de GPU, considere la implementación de espacios utilizando gradio deploy desde Terminal.

Expresiones de gratitud

• Documentación de la API de Groq
• Documentación de Langchain
• Documentación de Gradio

Autores

• @Shubham Bhatia

Comentario

Si tiene algún comentario, comuníquese conmigo en [email protected]