ホーム>プログラミング関連>その他のソースコード
ダウンロード


質問|機能リクエスト


？なぜAutollm？

単純化します。統一。増幅。

特徴autollmラングチェーンllamaindex litellm
100以上のLLM ✅ ✅ ✅ ✅
Unified API ✅ ✅
20以上のベクトルデータベース✅ ✅ ✅
コスト計算（100 LLMS） ✅ ✅
1ラインラグLLMエンジン✅
1ラインFastapi ✅

？インストール

Python> = 3.8環境でPIPを使用してAutollmパッケージを簡単にインストールしてください。 

pip install autollm

組み込みのデータリーダー（Github、PDF、DOCX、IPYNB、EPUB、MBOX、WEBSITES ..）については、以下をインストールしてください。 

pip install autollm[readers]

クイックスタート

チュートリアル

  • ビデオチュートリアル：

    • 数秒でAPIでぼろを作る!!!
    • Autollmは、数秒でLLMアプリを自動的に作成します
    • Autollm：数秒でRAGベースのLLM Webアプリを作成してください！
    • autollm：数秒でラグベースのLLMアプリとAPIを出荷
    • Autollm：100以上の言語モデルのパワーのロックを解除します！段階的なチュートリアル

  • ブログ投稿：

    • Autollmの紹介

  • コラブノートブック：

    • QuickStart：

数秒でクエリエンジンを作成します

 >> > from autollm import AutoQueryEngine , read_files_as_documents

>> > documents = read_files_as_documents ( input_dir = "path/to/documents" )
>> > query_engine = AutoQueryEngine . from_defaults ( documents )

>> > response = query_engine . query (
...     "Why did SafeVideo AI develop this project?"
... )

>> > response . response
"Because they wanted to deploy rag based llm apis in no time!"
高度な使用
 >> > from autollm import AutoQueryEngine

>> > query_engine = AutoQueryEngine . from_defaults (
...     documents = documents ,
...     llm_model = "gpt-3.5-turbo" ,
...     llm_max_tokens = "256" ,
...     llm_temperature = "0.1" ,
...     system_prompt = '...' ,
...     query_wrapper_prompt = '...' ,
...     enable_cost_calculator = True ,
...     embed_model = "huggingface/BAAI/bge-large-zh" ,
...     chunk_size = 512 ,
...     chunk_overlap = 64 ,
...     context_window = 4096 ,
...     similarity_top_k = 3 ,
...     response_mode = "compact" ,
...     structured_answer_filtering = False ,
...     vector_store_type = "LanceDBVectorStore" ,
...     lancedb_uri = "./lancedb" ,
...     lancedb_table_name = "vectors" ,
...     exist_ok = True ,
...     overwrite_existing = False ,
... )

>> > response = query_engine . query ( "Who is SafeVideo AI?" )

>> > print ( response . response )
"A startup that provides self hosted AI API's for companies!"

1ラインのFastapiアプリに変換します

 >> > import uvicorn

>> > from autollm import AutoFastAPI

>> > app = AutoFastAPI . from_query_engine ( query_engine )

>> > uvicorn . run ( app , host = "0.0.0.0" , port = 8000 )
INFO :    Started server process [ 12345 ]
INFO :    Waiting for application startup .
INFO :    Application startup complete .
INFO :    Uvicorn running on http : // http : // 0.0 . 0.0 : 8000 /
高度な使用
 >> > from autollm import AutoFastAPI

>> > app = AutoFastAPI . from_query_engine (
...      query_engine ,
...      api_title = '...' ,
...      api_description = '...' ,
...      api_version = '...' ,
...      api_term_of_service = '...' ,
    )

>> > uvicorn . run ( app , host = "0.0.0.0" , port = 8000 )
INFO :    Started server process [ 12345 ]
INFO :    Waiting for application startup .
INFO :    Application startup complete .
INFO :    Uvicorn running on http : // http : // 0.0 . 0.0 : 8000 /

？特徴

100個以上のLLMをサポートします

 >> > from autollm import AutoQueryEngine

>> > os . environ [ "HUGGINGFACE_API_KEY" ] = "huggingface_api_key"

>> > llm_model = "huggingface/WizardLM/WizardCoder-Python-34B-V1.0"
>> > llm_api_base = "https://my-endpoint.huggingface.cloud"

>> > AutoQueryEngine . from_defaults (
...     documents = '...' ,
...     llm_model = llm_model ,
...     llm_api_base = llm_api_base ,
... )
より多くのLLM：

  • Huggingface -Ollamaの例： 

     >> > from autollm import AutoQueryEngine

>> > llm_model = "ollama/llama2"
>> > llm_api_base = "http://localhost:11434"

>> > AutoQueryEngine . from_defaults (
...     documents = '...' ,
...     llm_model = llm_model ,
...     llm_api_base = llm_api_base ,
... )

  • Microsoft Azure -Openai例： 

     >> > from autollm import AutoQueryEngine

>> > os . environ [ "AZURE_API_KEY" ] = ""
>> > os . environ [ "AZURE_API_BASE" ] = ""
>> > os . environ [ "AZURE_API_VERSION" ] = ""

>> > llm_model = "azure/<your_deployment_name>" )

>> > AutoQueryEngine . from_defaults (
...     documents = '...' ,
...     llm_model = llm_model
... )

  • Google- vertexaiの例： 

     >> > from autollm import AutoQueryEngine

>> > os . environ [ "VERTEXAI_PROJECT" ] = "hardy-device-38811"  # Your Project ID`
>> > os . environ [ "VERTEXAI_LOCATION" ] = "us-central1"  # Your Location

>> > llm_model = "text-bison@001"

>> > AutoQueryEngine . from_defaults (
...     documents = '...' ,
...     llm_model = llm_model
... )

  • AWS BEDROCK -CLAUDE V2例： 

     >> > from autollm import AutoQueryEngine

>> > os . environ [ "AWS_ACCESS_KEY_ID" ] = ""
>> > os . environ [ "AWS_SECRET_ACCESS_KEY" ] = ""
>> > os . environ [ "AWS_REGION_NAME" ] = ""

>> > llm_model = "anthropic.claude-v2"

>> > AutoQueryEngine . from_defaults (
...     documents = '...' ,
...     llm_model = llm_model
... )

20以上のVectordbsをサポートします

？プロのヒント： autollm 、ベクターストアとしてlancedbにデフォルトです。セットアップフリー、サーバーレス、および100倍の費用対効果が高くなります。

より多くのvectordbs：
  • QDRANTVECTORSTORE例： 
     >> > from autollm import AutoQueryEngine
>> > import qdrant_client

>> > vector_store_type = "QdrantVectorStore"
>> > client = qdrant_client . QdrantClient (
...     url = "http://<host>:<port>" ,
...     api_key = "<qdrant-api-key>"
... )
>> > collection_name = "quickstart"

>> > AutoQueryEngine . from_defaults (
...     documents = '...' ,
...     vector_store_type = vector_store_type ,
...     client = client ,
...     collection_name = collection_name ,
... )

100以上のLLMの自動コスト計算

 >> > from autollm import AutoServiceContext

>> > service_context = AutoServiceContext ( enable_cost_calculation = True )

# Example verbose output after query
Embedding Token Usage : 7
LLM Prompt Token Usage : 1482
LLM Completion Token Usage : 47
LLM Total Token Cost : $ 0.002317

1ラインでFastAPIアプリを作成します

例
 >> > from autollm import AutoFastAPI

>> > app = AutoFastAPI . from_config ( config_path , env_path )

ここでは、 configとenv構成および環境ファイルパスに置き換える必要があります。

FastAPIアプリを作成した後、端末で次のコマンドを実行して実行して実行します。 

uvicorn main:app

Llama-Indexからの移行

Llama-Indexからの切り替え？私たちはあなたをカバーしています。

簡単な移行
 >> > from llama_index import StorageContext , ServiceContext , VectorStoreIndex
>> > from llama_index . vectorstores import LanceDBVectorStore

>> > from autollm import AutoQueryEngine

>> > vector_store = LanceDBVectorStore ( uri = "./.lancedb" )
>> > storage_context = StorageContext . from_defaults ( vector_store = vector_store )
>> > service_context = ServiceContext . from_defaults ()
>> > index = VectorStoreIndex . from_documents (
        documents = documents ,
        storage_context = storage_contex ,
        service_context = service_context ,
    )

>> > query_engine = AutoQueryEngine . from_instances ( index )

faq

Q：これを商業プロジェクトに使用できますか？

A：はい、AutollmはGNU Affero General Public License（AGPL 3.0）に基づいてライセンスされています。これにより、特定の条件下での商業使用が可能です。詳細については、お問い合わせください。

ロードマップ

当社のロードマップは、今後の機能と統合の概要を説明し、Autollmを大規模な言語モデルアプリケーション向けに最も拡張可能で強力なベースパッケージにします。

  • 1ラインのグラデーションアプリの作成と展開

  • 予算ベースの電子メール通知

  • 自動LLM評価

  • PDF-Chat、ドキュメントチャット、アカデミックペーパー分析、特許分析などにQuthStartアプリを追加してください！

ライセンス

Autollmは、GNU Affero General Public License（AGPL 3.0）の下で入手できます。

？接触

詳細、サポート、または質問については、お問い合わせください。

？貢献

オートルムが大好きですか？リポジトリを主演するか、貢献して、さらに良くするのを手伝ってください！詳細については、貢献ガイドラインをご覧ください。

もっとフォローしてください！
拡大する
追加情報
関連アプリ
おすすめ
関連情報 すべて