astra assistants api Download - astra assistants api Source Code Download

astra assistants api

شفرة المصدر الأخرى

v0.2.33 server

تنزيل

خدمة API مساعد Astra

خدمة متوافقة مع إسقاط المصدر مفتوح المصدر لـ Openai Assistants API V2

create_assistant

يدعم Astra Assistants التدفق ، ومواضيع ، وملفات ، و Vector_stores ، والمساعدين ، والاسترجاع ، والاتصال بالوظائف والمزيد باستخدام AstradB (Datastax's DB كخدمة تقدم مدعومة من Apache Cassandra و JVector).

يدعم العشرات من مقدمي خدمات الطرف الثالث (أو حتى النماذج المحلية) لكل من الانتهاء والتضمينات (مدعوم من Litellm).

يمكنك استخدام خدمة Astra Assistants المستضافة ، أو استضافة خادم API مفتوح المصدر بنفسك.

يبدأ العميل

لإنشاء تطبيق يستخدم خدمة Astra Asistants تثبيت مكتبة Python Astra-Assistants مع مدير الحزمة المفضل لديك. يمكن الاطلاع على رمز Astra-Assistants تحت (العملاء /) Budap./العملاء/]:

 poetry add astra_assistants

الاشتراك في Astra والحصول على رمز API Admin:

اضبط متغيرات البيئة الخاصة بك (اعتمادًا على LLMs التي تريد استخدامها) ، راجع ملف .env.bkp للحصول على مثال:

 #!/bin/bash

# AstraDB -> https://astra.datastax.com/ --> tokens --> administrator user --> generate
export ASTRA_DB_APPLICATION_TOKEN=""

# OpenAI Models - https://platform.openai.com/api-keys --> create new secret key
export OPENAI_API_KEY=""

# Groq Models - https://console.groq.com/keys
export GROQ_API_KEY=""

# Anthropic claude models - https://console.anthropic.com/settings/keys
export ANTHROPIC_API_KEY=""

# Gemini models -> https://makersuite.google.com/app/apikey
export GEMINI_API_KEY=""

# Perplexity models -> https://www.perplexity.ai/settings/api  --> generate
export PERPLEXITYAI_API_KEY=""

# Cohere models -> https://dashboard.cohere.com/api-keys
export COHERE_API_KEY=""

# Bedrock models -> https://docs.aws.amazon.com/bedrock/latest/userguide/setting-up.html
export AWS_REGION_NAME=""
export AWS_ACCESS_KEY_ID=""
export AWS_SECRET_ACCESS_KEY=""

# vertexai models https://console.cloud.google.com/vertex-ai
export GOOGLE_JSON_PATH=""
export GOOGLE_PROJECT_ID=""

# ... for all models see the .env.bkp file

ثم استيراد وتصحيح عميلك:

 from openai import OpenAI
from astra_assistants import patch
client = patch ( OpenAI ())

سيقوم النظام بإنشاء ديسيبل نيابة عنك وتسميه assistant_api_db باستخدام الرمز المميز الخاص بك. لاحظ أن هذا يعني أن الطلب الأول سيتم تعليقه حتى يصبح DB جاهزًا (قد يكون بضع دقائق). سيحدث هذا مرة واحدة فقط.

أنت الآن مستعد لإنشاء مساعد

 assistant = client.beta.assistants.create(
  instructions="You are a personal math tutor. When asked a math question, write and run code to answer the question.",
  model="gpt-4-1106-preview",
  tools=[{"type": "retrieval"}]
)

بشكل افتراضي ، تستخدم الخدمة AstradB كمخزن قاعدة البيانات/المتجهات و Openai للتضمينات وإكمال الدردشة.

دعم الطرف الثالث LLM

نحن ندعم الآن العديد من نماذج الطرف الثالث لكل من التضمينات والانتهاء بفضل Litellm. تمرير مفتاح API لخدمتك باستخدام رؤوس مفتاح api-key embedding-model .

يمكنك تمرير نماذج مختلفة ، فقط تأكد من أن لديك مفتاح API المقابل الصحيح في بيئتك.

 model="gpt-4-1106-preview"
#model="gpt-3.5-turbo"
#model="cohere_chat/command-r"
#model="perplexity/mixtral-8x7b-instruct"
#model="perplexity/llama-3-sonar-large-32k-online"
#model="anthropic.claude-v2"
#model="gemini/gemini-1.5-pro-latest"
#model = "meta.llama2-13b-chat-v1"

assistant = client.beta.assistants.create(
    name="Math Tutor",
    instructions="You are a personal math tutor. Answer questions briefly, in a sentence or less.",
    model=model,
)

بالنسبة لنماذج تضمين الطرف الثالث ، ندعم embedding_model في client.files.create :

 file = client.files.create(
    file=open(
        "./test/language_models_are_unsupervised_multitask_learners.pdf",
        "rb",
    ),
    purpose="assistants",
    embedding_model="text-embedding-3-large",
)

لتشغيل الأمثلة باستخدام الشعر ، قم بإنشاء ملف .env في هذا الدليل مع أسرارك وتشغيله:

 poetry install

قم بإنشاء ملف .env الخاص بك وأضف مفاتيحك إليه:

 cp .env.bkp .env

و

 poetry run python examples/python/chat_completion/basic.py

poetry run python examples/python/retrieval/basic.py

poetry run python examples/python/streaming_retrieval/basic.py

poetry run python examples/python/function_calling/basic.py

يدير نفسك

عامل ميناء

مع Docker ، اسحب الصورة أولاً من Docker Hub

 docker pull datastax/astra-assistants

أو إصدار محدد إذا كنت لا تريد الأحدث:

 docker pull datastax/astra-assistants:v0.2.12

ثم قم بتشغيل (-P لتعيين منفذ Docker الخاص بك 8080 إلى المنفذ المضيف 8080):

 docker run -p 8080:8080 datastax/astra-assistants

محليا مع الشعر

أو محليا مع الشعر:

 poetry install

poetry run python run.py

Docker-corm مع Ollama

أو مع Docker-Corm من أجل التكامل مع Ollama

 cd examples/ollama/gpu # or examples/ollama/cpu for cpu only for gpu you need docker-toolkit

docker-compose up -d

تحتاج إلى سحب النموذج الذي تريد Ollama قبل استخدامه

 curl http://localhost:11434/api/pull -d '{ "name": "deepseek-coder-v2" }'

يجب على عميل المساعدين التوجيه إلى إعداد حاوية Ollama Ollama_api_base_url. يجب ضبط Ollama_api_base_url على http: // ollama: 11434 إذا كنت تستخدم Docker-Corm. إذا كنت تستخدم Ollama على مضيفك المحلي ، فيمكنك تعيينه على http: // localhost: 11434