Page d'accueil>Lié à la programmation>Autre code source
Télécharger


Questions | Demandes de fonctionnalités


? Pourquoi Autollm?

Simplifier. Unifier. Amplifier.

Fonctionnalité Autochton Lubriole Llamaindex Litrellm
100+ LLMS ✅ ✅ ✅ ✅
API unifiée ✅ ✅
20+ bases de données vectorielles ✅ ✅ ✅
Calcul des coûts (100+ LLM) ✅ ✅
Moteur de chiffon à 1 ligne ✅
Fastapi 1 ligne ✅

? installation

Installez facilement le package AutollM avec PIP dans Python> = 3,8 Environnement. 

pip install autollm

Pour les lecteurs de données intégrés (GitHub, PDF, DOCX, IPYNB, EPUB, MBOX, sites Web ..), Installer avec: 

pip install autollm[readers]

start

tutoriels

  • Tutoriels vidéo :

    • Faites un chiffon avec l'API en quelques secondes !!!
    • AutoLLM Créez automatiquement les applications LLM en secondes
    • Autollm: Créez des applications Web LLM basées sur RAG en secondes!
    • Autollm: Ship Rag Based LLM Apps and API en quelques secondes
    • Autollm: déverrouillez la puissance des modèles de langue 100+! Tutoriel étape par étape

  • Articles de blog :

    • Introduction à Autollm

  • cadres de colab :

    • QuickStart:

créer un moteur de requête en quelques secondes 

 >> > from autollm import AutoQueryEngine , read_files_as_documents

>> > documents = read_files_as_documents ( input_dir = "path/to/documents" )
>> > query_engine = AutoQueryEngine . from_defaults ( documents )

>> > response = query_engine . query (
...     "Why did SafeVideo AI develop this project?"
... )

>> > response . response
"Because they wanted to deploy rag based llm apis in no time!"
utilisation avancée 
 >> > from autollm import AutoQueryEngine

>> > query_engine = AutoQueryEngine . from_defaults (
...     documents = documents ,
...     llm_model = "gpt-3.5-turbo" ,
...     llm_max_tokens = "256" ,
...     llm_temperature = "0.1" ,
...     system_prompt = '...' ,
...     query_wrapper_prompt = '...' ,
...     enable_cost_calculator = True ,
...     embed_model = "huggingface/BAAI/bge-large-zh" ,
...     chunk_size = 512 ,
...     chunk_overlap = 64 ,
...     context_window = 4096 ,
...     similarity_top_k = 3 ,
...     response_mode = "compact" ,
...     structured_answer_filtering = False ,
...     vector_store_type = "LanceDBVectorStore" ,
...     lancedb_uri = "./lancedb" ,
...     lancedb_table_name = "vectors" ,
...     exist_ok = True ,
...     overwrite_existing = False ,
... )

>> > response = query_engine . query ( "Who is SafeVideo AI?" )

>> > print ( response . response )
"A startup that provides self hosted AI API's for companies!"

Convertissez-le en une application Fastapi en 1 ligne 

 >> > import uvicorn

>> > from autollm import AutoFastAPI

>> > app = AutoFastAPI . from_query_engine ( query_engine )

>> > uvicorn . run ( app , host = "0.0.0.0" , port = 8000 )
INFO :    Started server process [ 12345 ]
INFO :    Waiting for application startup .
INFO :    Application startup complete .
INFO :    Uvicorn running on http : // http : // 0.0 . 0.0 : 8000 /
utilisation avancée 
 >> > from autollm import AutoFastAPI

>> > app = AutoFastAPI . from_query_engine (
...      query_engine ,
...      api_title = '...' ,
...      api_description = '...' ,
...      api_version = '...' ,
...      api_term_of_service = '...' ,
    )

>> > uvicorn . run ( app , host = "0.0.0.0" , port = 8000 )
INFO :    Started server process [ 12345 ]
INFO :    Waiting for application startup .
INFO :    Application startup complete .
INFO :    Uvicorn running on http : // http : // 0.0 . 0.0 : 8000 /

? caractéristiques

prend en charge plus de 100 LLM 

 >> > from autollm import AutoQueryEngine

>> > os . environ [ "HUGGINGFACE_API_KEY" ] = "huggingface_api_key"

>> > llm_model = "huggingface/WizardLM/WizardCoder-Python-34B-V1.0"
>> > llm_api_base = "https://my-endpoint.huggingface.cloud"

>> > AutoQueryEngine . from_defaults (
...     documents = '...' ,
...     llm_model = llm_model ,
...     llm_api_base = llm_api_base ,
... )
Plus de LLMS:

  • HUGGINGFACE - Exemple d'allama: 

     >> > from autollm import AutoQueryEngine

>> > llm_model = "ollama/llama2"
>> > llm_api_base = "http://localhost:11434"

>> > AutoQueryEngine . from_defaults (
...     documents = '...' ,
...     llm_model = llm_model ,
...     llm_api_base = llm_api_base ,
... )

  • Microsoft Azure - Exemple OpenAI: 

     >> > from autollm import AutoQueryEngine

>> > os . environ [ "AZURE_API_KEY" ] = ""
>> > os . environ [ "AZURE_API_BASE" ] = ""
>> > os . environ [ "AZURE_API_VERSION" ] = ""

>> > llm_model = "azure/<your_deployment_name>" )

>> > AutoQueryEngine . from_defaults (
...     documents = '...' ,
...     llm_model = llm_model
... )

  • Google - Vertexai Exemple: 

     >> > from autollm import AutoQueryEngine

>> > os . environ [ "VERTEXAI_PROJECT" ] = "hardy-device-38811"  # Your Project ID`
>> > os . environ [ "VERTEXAI_LOCATION" ] = "us-central1"  # Your Location

>> > llm_model = "text-bison@001"

>> > AutoQueryEngine . from_defaults (
...     documents = '...' ,
...     llm_model = llm_model
... )

  • AWS Bouetasse - Claude V2 Exemple: 

     >> > from autollm import AutoQueryEngine

>> > os . environ [ "AWS_ACCESS_KEY_ID" ] = ""
>> > os . environ [ "AWS_SECRET_ACCESS_KEY" ] = ""
>> > os . environ [ "AWS_REGION_NAME" ] = ""

>> > llm_model = "anthropic.claude-v2"

>> > AutoQueryEngine . from_defaults (
...     documents = '...' ,
...     llm_model = llm_model
... )

prend en charge plus de 20 vectordbs

? Conseil de pro : autollm par défaut est lancedb en tant que magasin vectoriel: il est sans configuration, sans serveur et 100x plus rentable!

Plus de vectordbs:
  • Exemple QDrantvectorStore: 
     >> > from autollm import AutoQueryEngine
>> > import qdrant_client

>> > vector_store_type = "QdrantVectorStore"
>> > client = qdrant_client . QdrantClient (
...     url = "http://<host>:<port>" ,
...     api_key = "<qdrant-api-key>"
... )
>> > collection_name = "quickstart"

>> > AutoQueryEngine . from_defaults (
...     documents = '...' ,
...     vector_store_type = vector_store_type ,
...     client = client ,
...     collection_name = collection_name ,
... )

Calcul des coûts automatisés pour plus de 100 LLM 

 >> > from autollm import AutoServiceContext

>> > service_context = AutoServiceContext ( enable_cost_calculation = True )

# Example verbose output after query
Embedding Token Usage : 7
LLM Prompt Token Usage : 1482
LLM Completion Token Usage : 47
LLM Total Token Cost : $ 0.002317

Créer une application Fastapi en 1 ligne

exemple 
 >> > from autollm import AutoFastAPI

>> > app = AutoFastAPI . from_config ( config_path , env_path )

Ici, config and env doit être remplacé par vos chemins de file de configuration et de fichier d'environnement.

Après avoir créé votre application Fastapi, exécutez la commande suivante dans votre terminal pour le mettre en service: 

uvicorn main:app

migration de lama-index

Passer de Llama-Index? Nous vous avons couvert.

migration facile 
 >> > from llama_index import StorageContext , ServiceContext , VectorStoreIndex
>> > from llama_index . vectorstores import LanceDBVectorStore

>> > from autollm import AutoQueryEngine

>> > vector_store = LanceDBVectorStore ( uri = "./.lancedb" )
>> > storage_context = StorageContext . from_defaults ( vector_store = vector_store )
>> > service_context = ServiceContext . from_defaults ()
>> > index = VectorStoreIndex . from_documents (
        documents = documents ,
        storage_context = storage_contex ,
        service_context = service_context ,
    )

>> > query_engine = AutoQueryEngine . from_instances ( index )

❓ FAQ

Q: Puis-je l'utiliser pour des projets commerciaux?

R: Oui, AutollM est concédé sous licence GNU Affero General Public (AGPL 3.0), qui permet une utilisation commerciale dans certaines conditions. Contactez-nous pour plus d'informations.

feuille de route

Notre feuille de route décrit les fonctionnalités et les intégrations à venir pour faire de Autollm le package de base le plus extensible et le plus puissant pour les applications de modèle de grande langue.

  • Création et déploiement de l'application Gradio 1 ligne

  • Notification par e-mail basée sur le budget

  • Évaluation LLM automatisée

  • Ajoutez plus d'applications QuickStart sur le chat PDF, le bavardage, le papier académique, l'analyse, l'analyse des brevets et plus encore!

licence

AutollM est disponible sous la licence publique générale GNU Affero (AGPL 3.0).

? contact

Pour plus d'informations, de soutien ou de questions, veuillez contacter:

? contributif

Vous aimez Autollm? Jouez le repo ou contribuez et aidez-nous à rendre encore mieux! Voir nos directives contributives pour plus d'informations.

Suivez-nous pour en savoir plus!
Développer
Informations supplémentaires
Applications connexes
Recommandé pour vous
Actualités connexes Tout