autollm Download - autollm Source Code Download

autollm

شفرة المصدر الأخرى

v0.1.10

تنزيل

أسئلة | طلبات الميزة

؟ لماذا Autollm؟

تبسيط. توحد. أسهب.

ميزة	Autollm	لانجشين	llamaindex	litellm
100+ LLMS	✅	✅	✅	✅
واجهة برمجة التطبيقات الموحدة	✅			✅
20+ قواعد بيانات المتجهات	✅	✅	✅
حساب التكلفة (100+ LLMS)	✅			✅
محرك 1-Line Rag LLM	✅
1 سطر fastapi	✅

؟ تثبيت

قم بتثبيت حزمة Autollm بسهولة مع PIP في بيثون> = 3.8 بيئة.

pip install autollm

لقراء البيانات المدمجة (github ، pdf ، docx ، ipynb ، epub ، mbox ، مواقع الويب ..) ، التثبيت مع:

pip install autollm[readers]

Quickstart

دروس

دروس الفيديو :
- اصنع خرقة مع API فقط في بضع ثوان !!!
- Autollm قم بإنشاء تطبيقات LLM بشكل تلقائي في ثوانٍ
- Autollm: إنشاء تطبيقات ويب LLM القائمة على RAT في ثوان!
- Autollm: سفينة LLM القائمة على RAT و API في ثوانٍ
- Autollm: فتح قوة 100+ طرازات اللغة! تعليمي خطوة بخطوة
منشورات المدونة :
- مقدمة إلى Autollm
دفاتر كولاب :
- QuickStart:

قم بإنشاء محرك استعلام بالثواني

 >> > from autollm import AutoQueryEngine , read_files_as_documents

>> > documents = read_files_as_documents ( input_dir = "path/to/documents" )
>> > query_engine = AutoQueryEngine . from_defaults ( documents )

>> > response = query_engine . query (
...     "Why did SafeVideo AI develop this project?"
... )

>> > response . response
"Because they wanted to deploy rag based llm apis in no time!"

استخدام متقدم

 >> > from autollm import AutoQueryEngine

>> > query_engine = AutoQueryEngine . from_defaults (
...     documents = documents ,
...     llm_model = "gpt-3.5-turbo" ,
...     llm_max_tokens = "256" ,
...     llm_temperature = "0.1" ,
...     system_prompt = '...' ,
...     query_wrapper_prompt = '...' ,
...     enable_cost_calculator = True ,
...     embed_model = "huggingface/BAAI/bge-large-zh" ,
...     chunk_size = 512 ,
...     chunk_overlap = 64 ,
...     context_window = 4096 ,
...     similarity_top_k = 3 ,
...     response_mode = "compact" ,
...     structured_answer_filtering = False ,
...     vector_store_type = "LanceDBVectorStore" ,
...     lancedb_uri = "./lancedb" ,
...     lancedb_table_name = "vectors" ,
...     exist_ok = True ,
...     overwrite_existing = False ,
... )

>> > response = query_engine . query ( "Who is SafeVideo AI?" )

>> > print ( response . response )
"A startup that provides self hosted AI API's for companies!"

تحويله إلى تطبيق Fastapi في سطر واحد

 >> > import uvicorn

>> > from autollm import AutoFastAPI

>> > app = AutoFastAPI . from_query_engine ( query_engine )

>> > uvicorn . run ( app , host = "0.0.0.0" , port = 8000 )
INFO :    Started server process [ 12345 ]
INFO :    Waiting for application startup .
INFO :    Application startup complete .
INFO :    Uvicorn running on http : // http : // 0.0 . 0.0 : 8000 /

استخدام متقدم

 >> > from autollm import AutoFastAPI

>> > app = AutoFastAPI . from_query_engine (
...      query_engine ,
...      api_title = '...' ,
...      api_description = '...' ,
...      api_version = '...' ,
...      api_term_of_service = '...' ,
    )

>> > uvicorn . run ( app , host = "0.0.0.0" , port = 8000 )
INFO :    Started server process [ 12345 ]
INFO :    Waiting for application startup .
INFO :    Application startup complete .
INFO :    Uvicorn running on http : // http : // 0.0 . 0.0 : 8000 /

؟ سمات

يدعم 100+ LLMS

 >> > from autollm import AutoQueryEngine

>> > os . environ [ "HUGGINGFACE_API_KEY" ] = "huggingface_api_key"

>> > llm_model = "huggingface/WizardLM/WizardCoder-Python-34B-V1.0"
>> > llm_api_base = "https://my-endpoint.huggingface.cloud"

>> > AutoQueryEngine . from_defaults (
...     documents = '...' ,
...     llm_model = llm_model ,
...     llm_api_base = llm_api_base ,
... )

المزيد من LLMS:

Huggingface - مثال Ollama:

 >> > from autollm import AutoQueryEngine

>> > llm_model = "ollama/llama2"
>> > llm_api_base = "http://localhost:11434"

>> > AutoQueryEngine . from_defaults (
...     documents = '...' ,
...     llm_model = llm_model ,
...     llm_api_base = llm_api_base ,
... )

Microsoft Azure - مثال Openai:

 >> > from autollm import AutoQueryEngine

>> > os . environ [ "AZURE_API_KEY" ] = ""
>> > os . environ [ "AZURE_API_BASE" ] = ""
>> > os . environ [ "AZURE_API_VERSION" ] = ""

>> > llm_model = "azure/<your_deployment_name>" )

>> > AutoQueryEngine . from_defaults (
...     documents = '...' ,
...     llm_model = llm_model
... )

جوجل - مثال على أساس:

 >> > from autollm import AutoQueryEngine

>> > os . environ [ "VERTEXAI_PROJECT" ] = "hardy-device-38811"  # Your Project ID`
>> > os . environ [ "VERTEXAI_LOCATION" ] = "us-central1"  # Your Location

>> > llm_model = "text-bison@001"

>> > AutoQueryEngine . from_defaults (
...     documents = '...' ,
...     llm_model = llm_model
... )

AWS Bedrock - Claude V2 مثال:

 >> > from autollm import AutoQueryEngine

>> > os . environ [ "AWS_ACCESS_KEY_ID" ] = ""
>> > os . environ [ "AWS_SECRET_ACCESS_KEY" ] = ""
>> > os . environ [ "AWS_REGION_NAME" ] = ""

>> > llm_model = "anthropic.claude-v2"

>> > AutoQueryEngine . from_defaults (
...     documents = '...' ,
...     llm_model = llm_model
... )

يدعم 20+ Vectordbs

؟ نصيحة للمحترفين : autollm الافتراضية لـ lancedb كمتجر متجه: إنه خالي من الإعداد ، بدون خادم ، و 100x أكثر فعالية من حيث التكلفة!

المزيد من Vectordbs:

QDrantVectorStore مثال:

 >> > from autollm import AutoQueryEngine
>> > import qdrant_client

>> > vector_store_type = "QdrantVectorStore"
>> > client = qdrant_client . QdrantClient (
...     url = "http://<host>:<port>" ,
...     api_key = "<qdrant-api-key>"
... )
>> > collection_name = "quickstart"

>> > AutoQueryEngine . from_defaults (
...     documents = '...' ,
...     vector_store_type = vector_store_type ,
...     client = client ,
...     collection_name = collection_name ,
... )

حساب التكلفة الآلي لـ 100+ LLMS

 >> > from autollm import AutoServiceContext

>> > service_context = AutoServiceContext ( enable_cost_calculation = True )

# Example verbose output after query
Embedding Token Usage : 7
LLM Prompt Token Usage : 1482
LLM Completion Token Usage : 47
LLM Total Token Cost : $ 0.002317

إنشاء تطبيق fastapi في سطر واحد

مثال

 >> > from autollm import AutoFastAPI

>> > app = AutoFastAPI . from_config ( config_path , env_path )

هنا ، يجب استبدال config env بمسارات تكوينك وملف البيئة.

بعد إنشاء تطبيق Fastapi الخاص بك ، قم بتشغيل الأمر التالي في المحطة الخاصة بك للحصول عليه وتشغيله:

uvicorn main:app

الهجرة من Llama-Index

التحول من Llama-Index؟ لقد قمنا بتغطيتك.

هجرة سهلة

 >> > from llama_index import StorageContext , ServiceContext , VectorStoreIndex
>> > from llama_index . vectorstores import LanceDBVectorStore

>> > from autollm import AutoQueryEngine

>> > vector_store = LanceDBVectorStore ( uri = "./.lancedb" )
>> > storage_context = StorageContext . from_defaults ( vector_store = vector_store )
>> > service_context = ServiceContext . from_defaults ()
>> > index = VectorStoreIndex . from_documents (
        documents = documents ,
        storage_context = storage_contex ,
        service_context = service_context ,
    )

>> > query_engine = AutoQueryEngine . from_instances ( index )

❓ الأسئلة الشائعة

س: هل يمكنني استخدام هذا للمشاريع التجارية؟

ج: نعم ، تم ترخيص Autollm بموجب ترخيص GNU Assero General Public (AGPL 3.0) ، والذي يسمح بالاستخدام التجاري في ظل ظروف معينة. اتصل بنا لمزيد من المعلومات.

خريطة الطريق

تحدد خريطة الطريق الخاصة بنا الميزات والتكامل القادمة لجعل Autollm الحزمة الأساسية الأكثر قابلية للتوسيع وقوة لتطبيقات نموذج اللغة الكبيرة.

1-سطر خلايا إنشاء ونشر التطبيق
إشعار البريد الإلكتروني القائم على الميزانية
تقييم LLM الآلي
أضف المزيد من تطبيقات QuickStart على PDF-Chat و Documentation-Chat وتحليل الورق الأكاديمي وتحليل براءات الاختراع والمزيد!