llm_adaptive_router

LLM التوجيه التكيفي

LLM Adaptive Router هو حزمة بيثون تتيح اختيار النموذج الديناميكي بناءً على محتوى الاستعلام. يستخدم البحث المتجه الفعال عن التصنيف الأولي والاختيار الدقيق المستند إلى LLM للحالات المعقدة. يمكن لجهاز التوجيه التكيف والتعلم من الملاحظات ، مما يجعله مناسبًا لمجموعة واسعة من التطبيقات.

سمات

• اختيار النموذج الديناميكي بناءً على محتوى الاستعلام
• البحث المتجه الفعال عن التصنيف الأولي
• اختيار الحبيبات الدقيقة المستندة إلى LLM للحالات المعقدة
• التعلم التكيفي من ردود الفعل
• التكوين المرن للطرق والموديلات
• سهلة التكامل مع Langchain ومقدمي خدمات LLM المختلفة

تثبيت

يمكنك تثبيت جهاز التوجيه التكيفي LLM باستخدام PIP:

pip3 install llm-adaptive-router

بداية سريعة

إليك مثال أساسي على كيفية استخدام جهاز التوجيه التكيفي LLM:

 from llm_adaptive_router import AdaptiveRouter , RouteMetadata
from langchain_chroma import Chroma
from langchain_openai import OpenAIEmbeddings , ChatOpenAI
from dotenv import load_dotenv
load_dotenv ()

gpt_3_5_turbo = ChatOpenAI ( model = "gpt-3.5-turbo" )
mini = ChatOpenAI ( model = "gpt-4o-mini" )
gpt_4 = ChatOpenAI ( model = "gpt-4" )

routes = {
    "general" : RouteMetadata (
        invoker = gpt_3_5_turbo ,
        capabilities = [ "general knowledge" ],
        cost = 0.002 ,
        example_sentences = [ "What is the capital of France?" , "Explain photosynthesis." ]
    ),
    "mini" : RouteMetadata (
        invoker = mini ,
        capabilities = [ "general knowledge" ],
        cost = 0.002 ,
        example_sentences = [ "What is the capital of France?" , "Explain photosynthesis." ]
        
    ),
    "math" : RouteMetadata (
        invoker = gpt_4 ,
        capabilities = [ "advanced math" , "problem solving" ],
        cost = 0.01 ,
        example_sentences = [ "Solve this differential equation." , "Prove the Pythagorean theorem." ]
    )
}

llm = ChatOpenAI ( model = "gpt-3.5-turbo" )

router = AdaptiveRouter (
    vectorstore = Chroma ( embedding_function = OpenAIEmbeddings ()),
    llm = llm ,
    embeddings = OpenAIEmbeddings (),
    routes = routes
)

query = "How are you"
query2 = "Write a Python function to hello world"
selected_model_route = router . route ( query )
selected_model_name = selected_model_route
print ( selected_model_name )
invoker = selected_model_route . invoker
response = invoker . invoke ( query )

print ( f"Response: { response } " )

استخدام مفصل

إنشاء بيانات تعريف الطريق

استخدم وظيفة create_route_metadata لتحديد الطرق:

 from llm_adaptive_router import create_route_metadata

route = create_route_metadata (
    invoker = model_function ,
    capabilities = [ "capability1" , "capability2" ],
    cost = 0.01 ,
    example_sentences = [ "Example query 1" , "Example query 2" ],
    additional_info = { "key" : "value" }
)

تهيئة Adaptiverouter

قم بإنشاء مثيل لـ AdaptiveRouter مع طرقك المكونة:

 router = AdaptiveRouter (
    vectorstore = your_vectorstore ,
    llm = your_llm ,
    embeddings = your_embeddings ,
    routes = your_routes
)

استفسارات التوجيه

استخدم طريقة route لتحديد النموذج المناسب للاستعلام:

 selected_model_route = router . route ( "Your query here" )
selected_model_name = selected_model_route . model
invoker = selected_model_route . invoker
response = invoker . invoke ( "Your query here" )

إضافة ردود الفعل

تحسين أداء جهاز التوجيه من خلال توفير الملاحظات:

 router . add_feedback ( query , selected_model , performance_score )

ميزات متقدمة

• متاجر المتجهات المخصصة: يدعم جهاز التوجيه التكيفي LLM مختلف متاجر المتجهات. يمكنك استخدام أي متجر متجه ينفذ واجهة VectorStore من Langchain.
• تحديثات المسار الديناميكي: يمكنك إضافة أو إزالة الطرق بشكل ديناميكي:

 router . add_route ( "new_route" , new_route_metadata )
router . remove_route ( "old_route" )

• تعديل سلوك التوجيه: ضبط سلوك جهاز التوجيه:

 router . set_complexity_threshold ( 0.8 )
router . set_update_frequency ( 200 )