Startseite>Programmierbezogen>Anderer Quellcode
Herunterladen


Fragen | Feature -Anfragen


? Warum Autollm?

Vereinfachen. Vereinheitlichen. Verstärken.

Besonderheit Autollm Langchain Llamaindex Litellm
100+ llms ✅ ✅ ✅ ✅
Einheitliche API ✅ ✅
20+ Vektordatenbanken ✅ ✅ ✅
Kostenberechnung (100 llms) ✅ ✅
1-Linie-Lag-LLM-Motor ✅
1-Linie Fastapi ✅

? Installation

Einfach das autollm -Paket mit PIP in Python> = 3.8 Umgebung installieren. 

pip install autollm

Für integrierte Datenleser (GitHub, PDF, DOCX, IPYNB, EPUB, MBOX, Websites ..) installieren Sie mit: 

pip install autollm[readers]

QuickStart

Tutorials

  • Video -Tutorials :

    • Machen Sie Lappen mit API in wenigen Sekunden !!!
    • Autollm erstellen automatisch LLM -Apps in Sekunden
    • Autollm: Erstellen Sie LLM -Web -Apps in Sekunden!
    • Autollm: LLM -Apps und API in Sekunden
    • Autollm: Entsperren Sie die Kraft von mehr als 100 Sprachmodellen! Schritt-für-Schritt-Tutorial

  • Blog -Beiträge :

    • Einführung in Autollm

  • Colab -Notizbücher :

    • QuickStart:

Erstellen Sie in Sekunden einen Abfragemotor 

 >> > from autollm import AutoQueryEngine , read_files_as_documents

>> > documents = read_files_as_documents ( input_dir = "path/to/documents" )
>> > query_engine = AutoQueryEngine . from_defaults ( documents )

>> > response = query_engine . query (
...     "Why did SafeVideo AI develop this project?"
... )

>> > response . response
"Because they wanted to deploy rag based llm apis in no time!"
Erweiterte Verwendung 
 >> > from autollm import AutoQueryEngine

>> > query_engine = AutoQueryEngine . from_defaults (
...     documents = documents ,
...     llm_model = "gpt-3.5-turbo" ,
...     llm_max_tokens = "256" ,
...     llm_temperature = "0.1" ,
...     system_prompt = '...' ,
...     query_wrapper_prompt = '...' ,
...     enable_cost_calculator = True ,
...     embed_model = "huggingface/BAAI/bge-large-zh" ,
...     chunk_size = 512 ,
...     chunk_overlap = 64 ,
...     context_window = 4096 ,
...     similarity_top_k = 3 ,
...     response_mode = "compact" ,
...     structured_answer_filtering = False ,
...     vector_store_type = "LanceDBVectorStore" ,
...     lancedb_uri = "./lancedb" ,
...     lancedb_table_name = "vectors" ,
...     exist_ok = True ,
...     overwrite_existing = False ,
... )

>> > response = query_engine . query ( "Who is SafeVideo AI?" )

>> > print ( response . response )
"A startup that provides self hosted AI API's for companies!"

Konvertieren Sie es in eine Fastapi-App in 1 Zeile 

 >> > import uvicorn

>> > from autollm import AutoFastAPI

>> > app = AutoFastAPI . from_query_engine ( query_engine )

>> > uvicorn . run ( app , host = "0.0.0.0" , port = 8000 )
INFO :    Started server process [ 12345 ]
INFO :    Waiting for application startup .
INFO :    Application startup complete .
INFO :    Uvicorn running on http : // http : // 0.0 . 0.0 : 8000 /
Erweiterte Verwendung 
 >> > from autollm import AutoFastAPI

>> > app = AutoFastAPI . from_query_engine (
...      query_engine ,
...      api_title = '...' ,
...      api_description = '...' ,
...      api_version = '...' ,
...      api_term_of_service = '...' ,
    )

>> > uvicorn . run ( app , host = "0.0.0.0" , port = 8000 )
INFO :    Started server process [ 12345 ]
INFO :    Waiting for application startup .
INFO :    Application startup complete .
INFO :    Uvicorn running on http : // http : // 0.0 . 0.0 : 8000 /

? Merkmale

Unterstützt 100 llms 

 >> > from autollm import AutoQueryEngine

>> > os . environ [ "HUGGINGFACE_API_KEY" ] = "huggingface_api_key"

>> > llm_model = "huggingface/WizardLM/WizardCoder-Python-34B-V1.0"
>> > llm_api_base = "https://my-endpoint.huggingface.cloud"

>> > AutoQueryEngine . from_defaults (
...     documents = '...' ,
...     llm_model = llm_model ,
...     llm_api_base = llm_api_base ,
... )
Mehr LLMs:

  • Suggingface - Ollama Beispiel: 

     >> > from autollm import AutoQueryEngine

>> > llm_model = "ollama/llama2"
>> > llm_api_base = "http://localhost:11434"

>> > AutoQueryEngine . from_defaults (
...     documents = '...' ,
...     llm_model = llm_model ,
...     llm_api_base = llm_api_base ,
... )

  • Microsoft Azure - OpenAI -Beispiel: 

     >> > from autollm import AutoQueryEngine

>> > os . environ [ "AZURE_API_KEY" ] = ""
>> > os . environ [ "AZURE_API_BASE" ] = ""
>> > os . environ [ "AZURE_API_VERSION" ] = ""

>> > llm_model = "azure/<your_deployment_name>" )

>> > AutoQueryEngine . from_defaults (
...     documents = '...' ,
...     llm_model = llm_model
... )

  • Google - Vertexai -Beispiel: 

     >> > from autollm import AutoQueryEngine

>> > os . environ [ "VERTEXAI_PROJECT" ] = "hardy-device-38811"  # Your Project ID`
>> > os . environ [ "VERTEXAI_LOCATION" ] = "us-central1"  # Your Location

>> > llm_model = "text-bison@001"

>> > AutoQueryEngine . from_defaults (
...     documents = '...' ,
...     llm_model = llm_model
... )

  • AWS -Grundgestein - Claude V2 Beispiel: 

     >> > from autollm import AutoQueryEngine

>> > os . environ [ "AWS_ACCESS_KEY_ID" ] = ""
>> > os . environ [ "AWS_SECRET_ACCESS_KEY" ] = ""
>> > os . environ [ "AWS_REGION_NAME" ] = ""

>> > llm_model = "anthropic.claude-v2"

>> > AutoQueryEngine . from_defaults (
...     documents = '...' ,
...     llm_model = llm_model
... )

Unterstützt mehr als 20 Vektorde

? Pro-Tipp : autollm lancedb als Vektor Store: Es ist frei, serverlos und 100x kostengünstiger!

Weitere Vektords:
  • QdrantVectorStore Beispiel: 
     >> > from autollm import AutoQueryEngine
>> > import qdrant_client

>> > vector_store_type = "QdrantVectorStore"
>> > client = qdrant_client . QdrantClient (
...     url = "http://<host>:<port>" ,
...     api_key = "<qdrant-api-key>"
... )
>> > collection_name = "quickstart"

>> > AutoQueryEngine . from_defaults (
...     documents = '...' ,
...     vector_store_type = vector_store_type ,
...     client = client ,
...     collection_name = collection_name ,
... )

automatisierte Kostenberechnung für 100+ LLMs 

 >> > from autollm import AutoServiceContext

>> > service_context = AutoServiceContext ( enable_cost_calculation = True )

# Example verbose output after query
Embedding Token Usage : 7
LLM Prompt Token Usage : 1482
LLM Completion Token Usage : 47
LLM Total Token Cost : $ 0.002317

Erstellen Sie die Fastapi-App in 1 Zeile

Beispiel 
 >> > from autollm import AutoFastAPI

>> > app = AutoFastAPI . from_config ( config_path , env_path )

Hier sollten config und env durch Ihre Konfigurations- und Umgebungsdateiwege ersetzt werden.

Führen Sie nach dem Erstellen Ihrer Fastapi -App den folgenden Befehl in Ihrem Terminal aus, um sie in Betrieb zu nehmen: 

uvicorn main:app

Migration von Lama-Index

Wechsel von llama-Index? Wir haben Sie überdacht.

einfache Migration 
 >> > from llama_index import StorageContext , ServiceContext , VectorStoreIndex
>> > from llama_index . vectorstores import LanceDBVectorStore

>> > from autollm import AutoQueryEngine

>> > vector_store = LanceDBVectorStore ( uri = "./.lancedb" )
>> > storage_context = StorageContext . from_defaults ( vector_store = vector_store )
>> > service_context = ServiceContext . from_defaults ()
>> > index = VectorStoreIndex . from_documents (
        documents = documents ,
        storage_context = storage_contex ,
        service_context = service_context ,
    )

>> > query_engine = AutoQueryEngine . from_instances ( index )

❓ FAQ

F: Kann ich dies für kommerzielle Projekte verwenden?

A: Ja, Autollm ist unter GNU Affero General Public Lizenz (AGPL 3.0) lizenziert, was unter bestimmten Bedingungen kommerzielle Verwendung ermöglicht. Kontaktieren Sie uns für weitere Informationen.

Roadmap

Unsere Roadmap beschreibt bevorstehende Funktionen und Integrationen, um Autollm zum erweiterbarsten und leistungsstärksten Basispaket für Großsprachmodellanwendungen zu machen.

  • 1-Linie-Gradio-App-Erstellung und -bereitstellung

  • Budgetbasierte E -Mail -Benachrichtigung

  • Automatisierte LLM -Bewertung

  • Fügen Sie weitere QuickStart-Apps zu PDF-CHAT, Dokumentation, Akademik-Papieranalyse, Patentanalyse und vielem mehr hinzu!

Lizenz

Autollm ist unter der GNU Affero General Public Lizenz (AGPL 3.0) erhältlich.

? Kontakt

Für weitere Informationen, Unterstützung oder Fragen wenden Sie sich bitte an:

? beitragen

Liebe Autollm? Sterne das Repo aus oder beitrage und hilf uns, es noch besser zu machen! Weitere Informationen finden Sie in unseren beitragenden Richtlinien.

Folgen Sie uns für mehr!
Expandieren
Zusätzliche Informationen
Ähnliche Anwendungen
Empfohlen für Sie
Ähnliche Nachrichten Alle