หน้าแรก>การเขียนโปรแกรมที่เกี่ยวข้อง>ซอร์สโค้ดอื่น ๆ
ดาวน์โหลด

Astra Assistant API Service

บริการที่เข้ากันได้แบบดรอปอินโอเพนซอร์สสำหรับ OpenAI Assistants API V2

create_assistant

Astra Assistants รองรับการสตรีม, เธรดถาวร, ไฟล์, vector_stores, ผู้ช่วย, การเรียกคืน, การโทรฟังก์ชั่นและอื่น ๆ โดยใช้ AstradB (DB ของ DataStax เป็นบริการที่ให้บริการโดย Apache Cassandra และ JVector)

สนับสนุนผู้ให้บริการ LLM ของบุคคลที่สามหลายสิบคน (หรือแม้แต่รุ่นท้องถิ่น) สำหรับทั้งความสำเร็จและการฝังตัว (ขับเคลื่อนโดย Litellm)

คุณสามารถใช้บริการ Astra Assistants ที่โฮสต์ของเราหรือโฮสต์เซิร์ฟเวอร์ Open Source API ด้วยตัวเอง

ลูกค้าเริ่มต้นใช้งาน

ในการสร้างแอพที่ใช้บริการ Astra Asistants ติดตั้ง Astra-Assistants Python Library กับผู้จัดการแพ็คเกจที่คุณชื่นชอบ รหัสสำหรับ Astra-Assistants สามารถพบได้ภายใต้ (ลูกค้า /) [client/]:: 

 poetry add astra_assistants

ลงชื่อสมัครใช้ Astra และรับโทเค็น API API:

ตั้งค่าตัวแปรสภาพแวดล้อมของคุณ (ขึ้นอยู่กับสิ่งที่คุณต้องการใช้ LLMS) ดูไฟล์. env.bkp สำหรับตัวอย่าง: 

 #!/bin/bash

# AstraDB -> https://astra.datastax.com/ --> tokens --> administrator user --> generate
export ASTRA_DB_APPLICATION_TOKEN=""

# OpenAI Models - https://platform.openai.com/api-keys --> create new secret key
export OPENAI_API_KEY=""

# Groq Models - https://console.groq.com/keys
export GROQ_API_KEY=""

# Anthropic claude models - https://console.anthropic.com/settings/keys
export ANTHROPIC_API_KEY=""

# Gemini models -> https://makersuite.google.com/app/apikey
export GEMINI_API_KEY=""

# Perplexity models -> https://www.perplexity.ai/settings/api  --> generate
export PERPLEXITYAI_API_KEY=""

# Cohere models -> https://dashboard.cohere.com/api-keys
export COHERE_API_KEY=""

# Bedrock models -> https://docs.aws.amazon.com/bedrock/latest/userguide/setting-up.html
export AWS_REGION_NAME=""
export AWS_ACCESS_KEY_ID=""
export AWS_SECRET_ACCESS_KEY=""

# vertexai models https://console.cloud.google.com/vertex-ai
export GOOGLE_JSON_PATH=""
export GOOGLE_PROJECT_ID=""

# ... for all models see the .env.bkp file

จากนั้นนำเข้าและแก้ไขลูกค้าของคุณ: 

 from openai import OpenAI
from astra_assistants import patch
client = patch ( OpenAI ())

ระบบจะสร้างฐานข้อมูลในนามของคุณและตั้งชื่อ assistant_api_db โดยใช้โทเค็นของคุณ หมายเหตุซึ่งหมายความว่าคำขอแรกจะแขวนไว้จนกว่าฐานข้อมูลของคุณจะพร้อม (อาจใช้เวลาสองสามนาที) สิ่งนี้จะเกิดขึ้นเพียงครั้งเดียว

ตอนนี้คุณพร้อมที่จะสร้างผู้ช่วย 

 assistant = client.beta.assistants.create(
  instructions="You are a personal math tutor. When asked a math question, write and run code to answer the question.",
  model="gpt-4-1106-preview",
  tools=[{"type": "retrieval"}]
)

โดยค่าเริ่มต้นบริการจะใช้ AstradB เป็นฐานข้อมูล/เวกเตอร์และ OpenAI สำหรับ Embeddings และการแชทให้เสร็จสมบูรณ์

การสนับสนุน LLM ของบุคคลที่สาม

ตอนนี้เราสนับสนุนโมเดลของบุคคลที่สามจำนวนมากสำหรับทั้งการฝังและความสำเร็จด้วย Litellm ผ่านคีย์ API ของบริการของคุณโดยใช้ส่วนหัว api-key และ embedding-model

คุณสามารถผ่านโมเดลที่แตกต่างกันได้เพียงตรวจสอบให้แน่ใจว่าคุณมีคีย์ API ที่สอดคล้องกันในสภาพแวดล้อมของคุณ 

 model="gpt-4-1106-preview"
#model="gpt-3.5-turbo"
#model="cohere_chat/command-r"
#model="perplexity/mixtral-8x7b-instruct"
#model="perplexity/llama-3-sonar-large-32k-online"
#model="anthropic.claude-v2"
#model="gemini/gemini-1.5-pro-latest"
#model = "meta.llama2-13b-chat-v1"

assistant = client.beta.assistants.create(
    name="Math Tutor",
    instructions="You are a personal math tutor. Answer questions briefly, in a sentence or less.",
    model=model,
)

สำหรับรูปแบบการฝังของบุคคลที่สามเราสนับสนุน embedding_model ใน client.files.create : 

 file = client.files.create(
    file=open(
        "./test/language_models_are_unsupervised_multitask_learners.pdf",
        "rb",
    ),
    purpose="assistants",
    embedding_model="text-embedding-3-large",
)

ในการเรียกใช้ตัวอย่างโดยใช้บทกวีให้สร้างไฟล์. env ในไดเรกทอรีนี้ด้วยความลับของคุณและเรียกใช้: 

 poetry install

สร้างไฟล์. ENV ของคุณและเพิ่มคีย์ของคุณลงไป: 

 cp .env.bkp .env

และ 

 poetry run python examples/python/chat_completion/basic.py

poetry run python examples/python/retrieval/basic.py

poetry run python examples/python/streaming_retrieval/basic.py

poetry run python examples/python/function_calling/basic.py

วิ่งตัวเอง

นักเทียบท่า

ด้วย Docker ก่อนอื่นให้ดึงภาพจาก Docker Hub 

 docker pull datastax/astra-assistants

หรือเวอร์ชันเฉพาะหากคุณไม่ต้องการล่าสุด: 

 docker pull datastax/astra-assistants:v0.2.12

จากนั้นเรียกใช้ (-p เพื่อแมปพอร์ต Docker 8080 ของคุณไปยังพอร์ตโฮสต์ 8080): 

 docker run -p 8080:8080 datastax/astra-assistants

ในพื้นที่พร้อมบทกวี

หรือในท้องถิ่นด้วยบทกวี: 

 poetry install

poetry run python run.py

นักเทียบท่ากับ Ollama

หรือกับนักเทียบท่าที่ใช้ในการรวมเข้ากับ Ollama 

 cd examples/ollama/gpu # or examples/ollama/cpu for cpu only for gpu you need docker-toolkit

docker-compose up -d

คุณต้องดึงโมเดลที่คุณต้องการให้ Ollama ก่อนใช้งาน 

 curl http://localhost:11434/api/pull -d '{ "name": "deepseek-coder-v2" }'

ลูกค้าผู้ช่วยของคุณควรกำหนดเส้นทางไปยังการตั้งค่าคอนเทนเนอร์ Ollama Ollama_API_BASE_URL ควรตั้งค่า ollama_api_base_url เป็น http: // ollama: 11434 หากคุณใช้นักเทียบท่า หากคุณใช้ Ollama ในท้องถิ่นของคุณคุณสามารถตั้งค่าเป็น http: // localhost: 11434

ข้อเสนอแนะ / ความช่วยเหลือ

สำหรับความช่วยเหลือหรือข้อเสนอแนะไฟล์เป็นปัญหาหรือติดต่อกับเราในความไม่ลงรอยกัน

การบริจาค

ตรวจสอบคู่มือการสนับสนุนของเรา

ความครอบคลุม

ดูรายงานความครอบคลุมของเราที่นี่

แผนงาน:

  • รองรับโมเดลการฝังตัวอื่น ๆ และ LLMS
  • การเรียกใช้ฟังก์ชัน
  • การสนับสนุนสตรีมมิ่ง
  • ผู้ช่วย v2 พร้อมการสนับสนุน vector_store

โครงการนี้ไม่เกี่ยวข้องกับ OpenAI หรือโมเดลบุคคลที่สามที่เราสนับสนุน มันเป็นโครงการโอเพ่นซอร์สที่มีจุดมุ่งหมายเพื่อให้บริการที่เข้ากันได้แบบดรอปอินสำหรับผู้ช่วย OpenAI API

ขยาย
ข้อมูลเพิ่มเติม
แอปที่เกี่ยวข้อง
แนะนำสำหรับคุณ
ข้อมูลที่เกี่ยวข้อง ทั้งหมด