Groq API

Groq API -помощник чата

Api Api Assistant - это инструмент, который использует API Groq для создания помощника по чату, способному генерировать ответы на запросы пользователей или подсказки. Он использует большие языковые модели (LLMS) для предоставления информативных и контекстуально релевантных ответов, что делает их подходящими для различных приложений, таких как поддержка клиентов, поиск информации и разговорные интерфейсы.

Установка

Чтобы запустить этот проект, вам необходимо установить необходимые зависимости. Запустите следующую команду в ноутбуке Colab:

 ! pip install -q -U langchain langchain_core langchain_groq gradio

Начиная:

Чтобы использовать этот ноутбук, вам нужно будет иметь следующее:

• Python 3.6+
• Google Colab Account
• Groq API -ключ (вы можете подписаться на бесплатную учетную запись по адресу groq.ai)

Использование

1. Инициализируйте модель:

 from google . colab import userdata
groq_api_key = userdata . get ( 'GROQ_API_KEY' )

from langchain_groq import ChatGroq

chat = ChatGroq (
    api_key = groq_api_key ,
    model_name = "mixtral-8x7b-32768"
)

2. Создайте цепь:

 from langchain_core . output_parsers import StrOutputParser

chain = prompt | chat | StrOutputParser ()

response = chain . invoke ({ "text" : "Why is the sky blue?" })
print ( response )

3. Создайте приложение:

 import gradio as gr

def fetch_response ( user_input ):
    chat = ChatGroq (
        api_key = groq_api_key ,
        model_name = "mixtral-8x7b-32768"
    )
    system = "You are a helpful assistant."
    human = "{text}"

    prompt = ChatPromptTemplate . from_messages (
        [
            ( "system" , system ), ( "human" , human )
        ]
    )
    chain = prompt | chat | StrOutputParser ()
    output = chain . invoke ({ "text" : user_input })
    return output

user_input = "Why is the sky blue?"

fetch_response ( user_input )

4. Создайте интерфейс:

 iface = gr . Interface (
    fn = fetch_response ,
    inputs = "text" ,
    outputs = "text" ,
    title = "Groq Chatbot" ,
    description = "Ask a question and get a response."
)

iface . launch ()

Ссылка на API

• Chatgroq: Этот класс инициализирует API Groq для функциональности чата. Это требует ключа API и имя модели в качестве параметров.
• ChatPromptTemplate: Этот класс создает шаблон приглашения в чате для взаимодействия с API Groq.
• StroutputParser: Этот класс анализирует выходной отклик из API GROQ в формат строки.

Дополнительные примечания

• Код делится на несколько разделов, включая инструкции по установке, импорт, инициализацию модели и основную функцию.
• Убедитесь, что у вас есть действительный GROQ_API_KEY , чтобы получить доступ к API GROQ.
• Библиотека gradio используется для создания интерфейса для чат -бота.
• Срок действия Share Link истекает за 72 часа. Для постоянного хостинга и обновлений графических процессоров рассмотрите возможность развертывания в пространствах с использованием gradio deploy из терминала.

Благодарности

• GROQ API документация
• Документация Лангхейна
• Документация по градио

Авторы

• @Shubham bhatia

Обратная связь

Если у вас есть какие -либо отзывы, пожалуйста, обратитесь ко мне по адресу [email protected]