Inicio>Relacionado con la programación>Otro código fuente
Descargar


Preguntas | Solicitudes de funciones


? ¿Por qué autolm?

Simplificar. Unificar. Amplificar.

Característica Autolm Langchain Llamado Litellm
100+ LLMS ✅ ✅ ✅ ✅
API unificada ✅ ✅
Más de 20 bases de datos vectoriales ✅ ✅ ✅
Cálculo de costos (más de 100 LLM) ✅ ✅
Motor de 1 línea trapo LLM ✅
Fastapi de 1 línea ✅

? instalación

Instale fácilmente el paquete Autollm con PIP en Python> = 3.8 entorno. 

pip install autollm

Para lectores de datos incorporados (GitHub, PDF, DOCX, IPYNB, EPUB, MBOX, Sitios web ...), instale con: 

pip install autollm[readers]

inicio rápido

tutoriales

  • Tutoriales de video :

    • ¡Haz trapo con API solo en unos segundos!
    • Autollm crear automáticamente aplicaciones LLM en segundos
    • AUTOLLM: ¡Crear aplicaciones web LLM basadas en trapo en segundos!
    • AUTOLLM: aplicaciones LLM y API basadas en el trapo de envío en segundos en segundos
    • AUTOLLM: ¡Desbloquee la potencia de más de 100 modelos de idiomas! Tutorial paso a paso

  • Publicaciones de blog :

    • Introducción a Autollm

  • cuadernos de colab :

    • rápido:

crear un motor de consulta en segundos 

 >> > from autollm import AutoQueryEngine , read_files_as_documents

>> > documents = read_files_as_documents ( input_dir = "path/to/documents" )
>> > query_engine = AutoQueryEngine . from_defaults ( documents )

>> > response = query_engine . query (
...     "Why did SafeVideo AI develop this project?"
... )

>> > response . response
"Because they wanted to deploy rag based llm apis in no time!"
Uso avanzado 
 >> > from autollm import AutoQueryEngine

>> > query_engine = AutoQueryEngine . from_defaults (
...     documents = documents ,
...     llm_model = "gpt-3.5-turbo" ,
...     llm_max_tokens = "256" ,
...     llm_temperature = "0.1" ,
...     system_prompt = '...' ,
...     query_wrapper_prompt = '...' ,
...     enable_cost_calculator = True ,
...     embed_model = "huggingface/BAAI/bge-large-zh" ,
...     chunk_size = 512 ,
...     chunk_overlap = 64 ,
...     context_window = 4096 ,
...     similarity_top_k = 3 ,
...     response_mode = "compact" ,
...     structured_answer_filtering = False ,
...     vector_store_type = "LanceDBVectorStore" ,
...     lancedb_uri = "./lancedb" ,
...     lancedb_table_name = "vectors" ,
...     exist_ok = True ,
...     overwrite_existing = False ,
... )

>> > response = query_engine . query ( "Who is SafeVideo AI?" )

>> > print ( response . response )
"A startup that provides self hosted AI API's for companies!"

conviértalo en una aplicación Fastapi en 1 línea 

 >> > import uvicorn

>> > from autollm import AutoFastAPI

>> > app = AutoFastAPI . from_query_engine ( query_engine )

>> > uvicorn . run ( app , host = "0.0.0.0" , port = 8000 )
INFO :    Started server process [ 12345 ]
INFO :    Waiting for application startup .
INFO :    Application startup complete .
INFO :    Uvicorn running on http : // http : // 0.0 . 0.0 : 8000 /
Uso avanzado 
 >> > from autollm import AutoFastAPI

>> > app = AutoFastAPI . from_query_engine (
...      query_engine ,
...      api_title = '...' ,
...      api_description = '...' ,
...      api_version = '...' ,
...      api_term_of_service = '...' ,
    )

>> > uvicorn . run ( app , host = "0.0.0.0" , port = 8000 )
INFO :    Started server process [ 12345 ]
INFO :    Waiting for application startup .
INFO :    Application startup complete .
INFO :    Uvicorn running on http : // http : // 0.0 . 0.0 : 8000 /

? características

Admite más de 100 LLM 

 >> > from autollm import AutoQueryEngine

>> > os . environ [ "HUGGINGFACE_API_KEY" ] = "huggingface_api_key"

>> > llm_model = "huggingface/WizardLM/WizardCoder-Python-34B-V1.0"
>> > llm_api_base = "https://my-endpoint.huggingface.cloud"

>> > AutoQueryEngine . from_defaults (
...     documents = '...' ,
...     llm_model = llm_model ,
...     llm_api_base = llm_api_base ,
... )
Más LLM:

  • Huggingface - Ejemplo de Ollama: 

     >> > from autollm import AutoQueryEngine

>> > llm_model = "ollama/llama2"
>> > llm_api_base = "http://localhost:11434"

>> > AutoQueryEngine . from_defaults (
...     documents = '...' ,
...     llm_model = llm_model ,
...     llm_api_base = llm_api_base ,
... )

  • Microsoft Azure - Ejemplo de OpenAI: 

     >> > from autollm import AutoQueryEngine

>> > os . environ [ "AZURE_API_KEY" ] = ""
>> > os . environ [ "AZURE_API_BASE" ] = ""
>> > os . environ [ "AZURE_API_VERSION" ] = ""

>> > llm_model = "azure/<your_deployment_name>" )

>> > AutoQueryEngine . from_defaults (
...     documents = '...' ,
...     llm_model = llm_model
... )

  • Google - Ejemplo de Vertexai: 

     >> > from autollm import AutoQueryEngine

>> > os . environ [ "VERTEXAI_PROJECT" ] = "hardy-device-38811"  # Your Project ID`
>> > os . environ [ "VERTEXAI_LOCATION" ] = "us-central1"  # Your Location

>> > llm_model = "text-bison@001"

>> > AutoQueryEngine . from_defaults (
...     documents = '...' ,
...     llm_model = llm_model
... )

  • AWS Bedrock - Claude V2 Ejemplo: 

     >> > from autollm import AutoQueryEngine

>> > os . environ [ "AWS_ACCESS_KEY_ID" ] = ""
>> > os . environ [ "AWS_SECRET_ACCESS_KEY" ] = ""
>> > os . environ [ "AWS_REGION_NAME" ] = ""

>> > llm_model = "anthropic.claude-v2"

>> > AutoQueryEngine . from_defaults (
...     documents = '...' ,
...     llm_model = llm_model
... )

admite más de 20 vectordbs

? Consejo de Pro : autollm predeterminado es lancedb como la tienda vectorial: ¡es sin configuración, sin servidor y 100 veces más rentable!

Más vectordbs:
  • QdrantVectorStore Ejemplo: 
     >> > from autollm import AutoQueryEngine
>> > import qdrant_client

>> > vector_store_type = "QdrantVectorStore"
>> > client = qdrant_client . QdrantClient (
...     url = "http://<host>:<port>" ,
...     api_key = "<qdrant-api-key>"
... )
>> > collection_name = "quickstart"

>> > AutoQueryEngine . from_defaults (
...     documents = '...' ,
...     vector_store_type = vector_store_type ,
...     client = client ,
...     collection_name = collection_name ,
... )

Cálculo de costos automatizados para más de 100 LLM 

 >> > from autollm import AutoServiceContext

>> > service_context = AutoServiceContext ( enable_cost_calculation = True )

# Example verbose output after query
Embedding Token Usage : 7
LLM Prompt Token Usage : 1482
LLM Completion Token Usage : 47
LLM Total Token Cost : $ 0.002317

Crear aplicación Fastapi en 1 línea

ejemplo 
 >> > from autollm import AutoFastAPI

>> > app = AutoFastAPI . from_config ( config_path , env_path )

Aquí, config y env deben ser reemplazadas por sus rutas de archivo y entorno.

Después de crear su aplicación Fastapi, ejecute el siguiente comando en su terminal para ponerlo en funcionamiento: 

uvicorn main:app

Migración del índice de Llama

¿Cambiar de Llama-Index? Te tenemos cubierto.

Migración fácil 
 >> > from llama_index import StorageContext , ServiceContext , VectorStoreIndex
>> > from llama_index . vectorstores import LanceDBVectorStore

>> > from autollm import AutoQueryEngine

>> > vector_store = LanceDBVectorStore ( uri = "./.lancedb" )
>> > storage_context = StorageContext . from_defaults ( vector_store = vector_store )
>> > service_context = ServiceContext . from_defaults ()
>> > index = VectorStoreIndex . from_documents (
        documents = documents ,
        storage_context = storage_contex ,
        service_context = service_context ,
    )

>> > query_engine = AutoQueryEngine . from_instances ( index )

❓ Preguntas frecuentes

P: ¿Puedo usar esto para proyectos comerciales?

R: Sí, AUTOLLM tiene licencia bajo la Licencia Pública General de GNU Affero (AGPL 3.0), que permite el uso comercial bajo ciertas condiciones. Contáctenos para más información.

hoja de ruta

Nuestra hoja de ruta describe las próximas características e integraciones para hacer de Autollm el paquete base más extensible y potente para aplicaciones de modelos de idiomas grandes.

  • Creación e implementación de aplicaciones de Grado de 1 línea

  • Notificación por correo electrónico basada en presupuesto

  • Evaluación automatizada de LLM

  • ¡Agregue más aplicaciones QuickStart sobre PDF-Chat, Documentation-Chat, Academic-Paper-Analysis, Patent-Analysis y más!

licencia

AUTOLLM está disponible bajo la Licencia Pública General GNU Affero (AGPL 3.0).

? contacto

Para obtener más información, apoyo o preguntas, comuníquese con:

? que contribuye

¿Amor Autollm? ¡Estrata el repositorio o contribuye y ayúdanos a hacerlo aún mejor! Consulte nuestras pautas contribuyentes para obtener más información.

¡Síganos por más!
Expandir
Información adicional
Aplicaciones relacionadas
Recomendado para ti
Información relacionada Todo