Groq API

Assistente de bate -papo da API Groq

O Assistente de Chat da API Groq é uma ferramenta que utiliza a API Groq para criar um assistente de bate -papo capaz de gerar respostas às consultas ou prompts do usuário. Ele aproveita os grandes modelos de idiomas (LLMS) para fornecer respostas informativas e contextualmente relevantes, tornando -o adequado para uma variedade de aplicativos, como suporte ao cliente, recuperação de informações e interfaces de conversação.

Instalação

Para executar este projeto, você precisa instalar as dependências necessárias. Execute o seguinte comando no seu notebook colab:

 ! pip install -q -U langchain langchain_core langchain_groq gradio

Começando:

Para usar este caderno, você precisará ter o seguinte:

• Python 3.6+
• Conta do Google Colab
• Chave da API Groq (você pode se inscrever em uma conta gratuita no groq.ai)

Uso

1. Inicialize o modelo:

 from google . colab import userdata
groq_api_key = userdata . get ( 'GROQ_API_KEY' )

from langchain_groq import ChatGroq

chat = ChatGroq (
    api_key = groq_api_key ,
    model_name = "mixtral-8x7b-32768"
)

2. Crie uma corrente:

 from langchain_core . output_parsers import StrOutputParser

chain = prompt | chat | StrOutputParser ()

response = chain . invoke ({ "text" : "Why is the sky blue?" })
print ( response )

3. Construa um aplicativo:

 import gradio as gr

def fetch_response ( user_input ):
    chat = ChatGroq (
        api_key = groq_api_key ,
        model_name = "mixtral-8x7b-32768"
    )
    system = "You are a helpful assistant."
    human = "{text}"

    prompt = ChatPromptTemplate . from_messages (
        [
            ( "system" , system ), ( "human" , human )
        ]
    )
    chain = prompt | chat | StrOutputParser ()
    output = chain . invoke ({ "text" : user_input })
    return output

user_input = "Why is the sky blue?"

fetch_response ( user_input )

4. Crie uma interface:

 iface = gr . Interface (
    fn = fetch_response ,
    inputs = "text" ,
    outputs = "text" ,
    title = "Groq Chatbot" ,
    description = "Ask a question and get a response."
)

iface . launch ()

Referência da API

• Chatgroq: Esta classe inicializa a API Groq para funcionalidade de bate -papo. Requer uma chave da API e um nome de modelo como parâmetros.
• ChatPromptTemplate: Esta classe cria um modelo de prompt de bate -papo para interagir com a API Groq.
• StroutputParser: Esta classe analisa a resposta de saída da API Groq em um formato de string.

Notas adicionais

• O código é dividido em várias seções, incluindo instruções de instalação, importações, inicialização do modelo e a função principal.
• Certifique -se de ter um GROQ_API_KEY válido para acessar a API Groq.
• A biblioteca gradio é usada para criar uma interface para o chatbot.
• O link de compartilhamento fornecido expira em 72 horas. Para atualizações permanentes de hospedagem e GPU, considere implantar em espaços usando gradio deploy do terminal.

Agradecimentos

• Documentação da API GROQ
• Documentação de Langchain
• Documentação de Gradio

Autores

• @Shubham bhatia

Opinião

Se você tiver algum feedback, entre em contato comigo em [email protected]