astra assistants api

Layanan API Asisten Astra

Layanan kompatibel drop-in open source untuk Openai Assistants API V2

Assistants Astra mendukung streaming, utas persisten, file, vector_stores, asisten, pengambilan, panggilan fungsi dan lebih banyak lagi menggunakan astradb (DataStax's DB sebagai penawaran layanan yang ditenagai oleh Apache Cassandra dan JVector).

Mendukung lusinan penyedia LLM pihak ketiga (atau bahkan model lokal) untuk penyelesaian dan embeddings (ditenagai oleh litellm).

Anda dapat menggunakan layanan Assistants Assistants kami yang di -host, atau meng -host sendiri Server API Open Source.

Klien Memulai

Untuk membangun aplikasi yang menggunakan layanan asistants asistants, instal perpustakaan python astra-assistants dengan manajer paket favorit Anda. Kode untuk Astra-Assistants dapat ditemukan di bawah (klien /) media,/]:

 poetry add astra_assistants

Daftar untuk Astra dan dapatkan token API Admin:

Atur variabel lingkungan Anda (tergantung pada llms apa yang ingin Anda gunakan), lihat file .env.bkp untuk contoh:

 #!/bin/bash

# AstraDB -> https://astra.datastax.com/ --> tokens --> administrator user --> generate
export ASTRA_DB_APPLICATION_TOKEN=""

# OpenAI Models - https://platform.openai.com/api-keys --> create new secret key
export OPENAI_API_KEY=""

# Groq Models - https://console.groq.com/keys
export GROQ_API_KEY=""

# Anthropic claude models - https://console.anthropic.com/settings/keys
export ANTHROPIC_API_KEY=""

# Gemini models -> https://makersuite.google.com/app/apikey
export GEMINI_API_KEY=""

# Perplexity models -> https://www.perplexity.ai/settings/api  --> generate
export PERPLEXITYAI_API_KEY=""

# Cohere models -> https://dashboard.cohere.com/api-keys
export COHERE_API_KEY=""

# Bedrock models -> https://docs.aws.amazon.com/bedrock/latest/userguide/setting-up.html
export AWS_REGION_NAME=""
export AWS_ACCESS_KEY_ID=""
export AWS_SECRET_ACCESS_KEY=""

# vertexai models https://console.cloud.google.com/vertex-ai
export GOOGLE_JSON_PATH=""
export GOOGLE_PROJECT_ID=""

# ... for all models see the .env.bkp file

Kemudian impor dan tambahkan klien Anda:

 from openai import OpenAI
from astra_assistants import patch
client = patch ( OpenAI ())

Sistem akan membuat DB atas nama Anda dan menyebutkannya assistant_api_db menggunakan token Anda. Perhatikan, ini berarti bahwa permintaan pertama akan menggantung sampai DB Anda siap (bisa beberapa menit). Ini hanya akan terjadi sekali.

Sekarang Anda siap membuat asisten

 assistant = client.beta.assistants.create(
  instructions="You are a personal math tutor. When asked a math question, write and run code to answer the question.",
  model="gpt-4-1106-preview",
  tools=[{"type": "retrieval"}]
)

Secara default, layanan ini menggunakan AstradB sebagai toko database/vektor dan openai untuk embeddings dan penyelesaian obrolan.

Dukungan LLM Pihak Ketiga

Kami sekarang mendukung banyak model pihak ketiga untuk embeddings dan penyelesaian berkat Litellm. Lewati kunci API layanan Anda menggunakan header embedding-model api-key dan Embedding.

Anda dapat melewati model yang berbeda, pastikan Anda memiliki kunci API yang sesuai di lingkungan Anda.

 model="gpt-4-1106-preview"
#model="gpt-3.5-turbo"
#model="cohere_chat/command-r"
#model="perplexity/mixtral-8x7b-instruct"
#model="perplexity/llama-3-sonar-large-32k-online"
#model="anthropic.claude-v2"
#model="gemini/gemini-1.5-pro-latest"
#model = "meta.llama2-13b-chat-v1"

assistant = client.beta.assistants.create(
    name="Math Tutor",
    instructions="You are a personal math tutor. Answer questions briefly, in a sentence or less.",
    model=model,
)

Untuk model penyematan pihak ketiga, kami mendukung embedding_model di client.files.create :

 file = client.files.create(
    file=open(
        "./test/language_models_are_unsupervised_multitask_learners.pdf",
        "rb",
    ),
    purpose="assistants",
    embedding_model="text-embedding-3-large",
)

Untuk menjalankan contoh menggunakan puisi, buat file .env di direktori ini dengan rahasia Anda dan jalankan:

 poetry install

Buat file .env Anda dan tambahkan kunci Anda ke dalamnya:

 cp .env.bkp .env

Dan

 poetry run python examples/python/chat_completion/basic.py

poetry run python examples/python/retrieval/basic.py

poetry run python examples/python/streaming_retrieval/basic.py

poetry run python examples/python/function_calling/basic.py

Menjalankan diri sendiri

Buruh pelabuhan

Dengan Docker, tarik gambar pertama dari Docker Hub

 docker pull datastax/astra-assistants

atau versi tertentu jika Anda tidak ingin yang terbaru:

 docker pull datastax/astra-assistants:v0.2.12

Kemudian jalankan (-p untuk memetakan port Docker Anda 8080 ke port host Anda 8080):

 docker run -p 8080:8080 datastax/astra-assistants

Secara lokal dengan puisi

atau secara lokal dengan puisi:

 poetry install

poetry run python run.py

Komposisi Docker dengan Ollama

atau dengan komposisi Docker untuk integrasi dengan ollama

 cd examples/ollama/gpu # or examples/ollama/cpu for cpu only for gpu you need docker-toolkit

docker-compose up -d

Anda perlu menarik model yang ingin Anda ollama sebelum menggunakannya

 curl http://localhost:11434/api/pull -d '{ "name": "deepseek-coder-v2" }'

Klien Asisten Anda harus mengarahkan ke Pengaturan Kontainer Ollama OLLAMA_API_BASE_URL. Ollama_api_base_url harus diatur ke http: // ollama: 11434 Jika Anda menggunakan compose docker. Jika Anda menggunakan ollama di localhost Anda, Anda dapat mengaturnya ke http: // localhost: 11434

Umpan balik / bantuan

Untuk bantuan atau file umpan balik, menjangkau kami di Perselisihan

Berkontribusi

Lihat panduan berkontribusi kami

Cakupan

Lihat Laporan Cakupan kami di sini

Peta jalan:

• Dukungan untuk model embedding lainnya dan LLM
• panggilan fungsi
• Dukungan streaming
• Asisten V2 dengan Dukungan Vektor_Store

Proyek ini tidak terkait dengan Openai atau model pihak ketiga yang kami dukung. Ini adalah proyek open source yang bertujuan untuk memberikan layanan yang kompatibel drop-in untuk Openai Assistants API.