Página Inicial>Relacionado com a programação>Outro código-fonte
Baixar


Perguntas | solicitações de recursos


? Por que AUTOLLM?

Simplificar. Unificar. Amplificar.

Recurso Autollm Langchain Llamaindex Litellm
100+ LLMS ✅ ✅ ✅ ✅
API unificado ✅ ✅
20+ bancos de dados de vetores ✅ ✅ ✅
Cálculo de custos (100+ LLMS) ✅ ✅
Motor Rag LLM de 1 linha ✅
1-line FASTAPI ✅

? instalação

Instale facilmente o pacote Autollm com PIP em Python> = 3.8 ambiente. 

pip install autollm

Para leitores de dados embutidos (github, pdf, docx, ipynb, epub, mbox, sites ..), instale com: 

pip install autollm[readers]

Investir rápido

tutoriais

  • Tutoriais em vídeo :

    • Faça pano com API apenas em alguns segundos !!!
    • Autollm Crie automaticamente aplicativos LLM em segundos
    • Autollm: Crie aplicativos da Web baseados em RAG em segundos!
    • Autollm: aplicativos LLM e API baseados em pano de navio em segundos
    • AUTOLLM: Desbloqueie o poder de mais de 100 modelos de idiomas! Tutorial passo a passo

  • Postagens do blog :

    • Introdução ao Autollm

  • Cadernos colab :

    • QuickStart:

Crie um motor de consulta em segundos 

 >> > from autollm import AutoQueryEngine , read_files_as_documents

>> > documents = read_files_as_documents ( input_dir = "path/to/documents" )
>> > query_engine = AutoQueryEngine . from_defaults ( documents )

>> > response = query_engine . query (
...     "Why did SafeVideo AI develop this project?"
... )

>> > response . response
"Because they wanted to deploy rag based llm apis in no time!"
uso avançado 
 >> > from autollm import AutoQueryEngine

>> > query_engine = AutoQueryEngine . from_defaults (
...     documents = documents ,
...     llm_model = "gpt-3.5-turbo" ,
...     llm_max_tokens = "256" ,
...     llm_temperature = "0.1" ,
...     system_prompt = '...' ,
...     query_wrapper_prompt = '...' ,
...     enable_cost_calculator = True ,
...     embed_model = "huggingface/BAAI/bge-large-zh" ,
...     chunk_size = 512 ,
...     chunk_overlap = 64 ,
...     context_window = 4096 ,
...     similarity_top_k = 3 ,
...     response_mode = "compact" ,
...     structured_answer_filtering = False ,
...     vector_store_type = "LanceDBVectorStore" ,
...     lancedb_uri = "./lancedb" ,
...     lancedb_table_name = "vectors" ,
...     exist_ok = True ,
...     overwrite_existing = False ,
... )

>> > response = query_engine . query ( "Who is SafeVideo AI?" )

>> > print ( response . response )
"A startup that provides self hosted AI API's for companies!"

Converta-o em um aplicativo FASTAPI em 1 linha 

 >> > import uvicorn

>> > from autollm import AutoFastAPI

>> > app = AutoFastAPI . from_query_engine ( query_engine )

>> > uvicorn . run ( app , host = "0.0.0.0" , port = 8000 )
INFO :    Started server process [ 12345 ]
INFO :    Waiting for application startup .
INFO :    Application startup complete .
INFO :    Uvicorn running on http : // http : // 0.0 . 0.0 : 8000 /
uso avançado 
 >> > from autollm import AutoFastAPI

>> > app = AutoFastAPI . from_query_engine (
...      query_engine ,
...      api_title = '...' ,
...      api_description = '...' ,
...      api_version = '...' ,
...      api_term_of_service = '...' ,
    )

>> > uvicorn . run ( app , host = "0.0.0.0" , port = 8000 )
INFO :    Started server process [ 12345 ]
INFO :    Waiting for application startup .
INFO :    Application startup complete .
INFO :    Uvicorn running on http : // http : // 0.0 . 0.0 : 8000 /

? características

Suporta 100+ LLMS 

 >> > from autollm import AutoQueryEngine

>> > os . environ [ "HUGGINGFACE_API_KEY" ] = "huggingface_api_key"

>> > llm_model = "huggingface/WizardLM/WizardCoder-Python-34B-V1.0"
>> > llm_api_base = "https://my-endpoint.huggingface.cloud"

>> > AutoQueryEngine . from_defaults (
...     documents = '...' ,
...     llm_model = llm_model ,
...     llm_api_base = llm_api_base ,
... )
Mais LLMS:

  • Huggingface - Exemplo de Ollama: 

     >> > from autollm import AutoQueryEngine

>> > llm_model = "ollama/llama2"
>> > llm_api_base = "http://localhost:11434"

>> > AutoQueryEngine . from_defaults (
...     documents = '...' ,
...     llm_model = llm_model ,
...     llm_api_base = llm_api_base ,
... )

  • Microsoft Azure - OpenAI Exemplo: 

     >> > from autollm import AutoQueryEngine

>> > os . environ [ "AZURE_API_KEY" ] = ""
>> > os . environ [ "AZURE_API_BASE" ] = ""
>> > os . environ [ "AZURE_API_VERSION" ] = ""

>> > llm_model = "azure/<your_deployment_name>" )

>> > AutoQueryEngine . from_defaults (
...     documents = '...' ,
...     llm_model = llm_model
... )

  • Google - Exemplo de Vertexai: 

     >> > from autollm import AutoQueryEngine

>> > os . environ [ "VERTEXAI_PROJECT" ] = "hardy-device-38811"  # Your Project ID`
>> > os . environ [ "VERTEXAI_LOCATION" ] = "us-central1"  # Your Location

>> > llm_model = "text-bison@001"

>> > AutoQueryEngine . from_defaults (
...     documents = '...' ,
...     llm_model = llm_model
... )

  • AWS Bedrock - Claude v2 Exemplo: 

     >> > from autollm import AutoQueryEngine

>> > os . environ [ "AWS_ACCESS_KEY_ID" ] = ""
>> > os . environ [ "AWS_SECRET_ACCESS_KEY" ] = ""
>> > os . environ [ "AWS_REGION_NAME" ] = ""

>> > llm_model = "anthropic.claude-v2"

>> > AutoQueryEngine . from_defaults (
...     documents = '...' ,
...     llm_model = llm_model
... )

Suporta mais de 20 Vectordbs

? Dica Pro : autollm Padrats to lancedb como o Vector Store: é sem configuração, sem servidor e 100x mais econômico!

Mais Vectordbs:
  • Exemplo QDrantVectorStore: 
     >> > from autollm import AutoQueryEngine
>> > import qdrant_client

>> > vector_store_type = "QdrantVectorStore"
>> > client = qdrant_client . QdrantClient (
...     url = "http://<host>:<port>" ,
...     api_key = "<qdrant-api-key>"
... )
>> > collection_name = "quickstart"

>> > AutoQueryEngine . from_defaults (
...     documents = '...' ,
...     vector_store_type = vector_store_type ,
...     client = client ,
...     collection_name = collection_name ,
... )

Cálculo de custos automatizado para mais de 100 LLMs 

 >> > from autollm import AutoServiceContext

>> > service_context = AutoServiceContext ( enable_cost_calculation = True )

# Example verbose output after query
Embedding Token Usage : 7
LLM Prompt Token Usage : 1482
LLM Completion Token Usage : 47
LLM Total Token Cost : $ 0.002317

Crie aplicativo FASTAPI em 1 linha

exemplo 
 >> > from autollm import AutoFastAPI

>> > app = AutoFastAPI . from_config ( config_path , env_path )

Aqui, config e env devem ser substituídos pelos seus caminhos de arquivo de configuração e ambiente.

Depois de criar seu aplicativo FASTAPI, execute o seguinte comando em seu terminal para colocá -lo em funcionamento: 

uvicorn main:app

Migração do Index de Llama

Mudando do índice de llama? Temos você coberto.

migração fácil 
 >> > from llama_index import StorageContext , ServiceContext , VectorStoreIndex
>> > from llama_index . vectorstores import LanceDBVectorStore

>> > from autollm import AutoQueryEngine

>> > vector_store = LanceDBVectorStore ( uri = "./.lancedb" )
>> > storage_context = StorageContext . from_defaults ( vector_store = vector_store )
>> > service_context = ServiceContext . from_defaults ()
>> > index = VectorStoreIndex . from_documents (
        documents = documents ,
        storage_context = storage_contex ,
        service_context = service_context ,
    )

>> > query_engine = AutoQueryEngine . from_instances ( index )

❓ FAQ

P: Posso usar isso para projetos comerciais?

R: Sim, o Autollm é licenciado sob licença pública geral da GNU Affero (AGPL 3.0), que permite o uso comercial sob determinadas condições. Entre em contato conosco para obter mais informações.

roteiro

Nosso roteiro descreve os próximos recursos e integrações para tornar o Autollm o pacote básico mais extensível e poderoso para aplicativos de modelos de idiomas grandes.

  • Criação e implantação de aplicativos de graduação de 1 linha

  • Notificação de email baseada no orçamento

  • Avaliação automatizada de LLM

  • Adicione aplicativos mais rápidos no PDF-Chat, documentação-bate-papo, análise acadêmica-papa, análise de patentes e muito mais!

licença

O Autollm está disponível sob a licença pública geral do GNU Affero (AGPL 3.0).

? contato

Para mais informações, suporte ou perguntas, entre em contato com:

? contribuindo

Love Autollm? Estrela o repositório ou contribua e ajude -nos a torná -lo ainda melhor! Veja nossas diretrizes contribuintes para obter mais informações.

Siga -nos para mais!
Expandir
Informações adicionais
Aplicativos Relacionados
Recomendado para você
Informações Relacionadas Todos