aiconfig

Aiconfig-Kerangka kerja open-source untuk membangun aplikasi AI tingkat produksi

Dokumentasi

Aiconfig adalah kerangka kerja yang membuatnya mudah untuk membangun aplikasi AI generatif untuk produksi. Ini mengelola petunjuk AI generatif, model dan parameter model sebagai konfigurasi JSON-serializable yang dapat dikendalikan, dievaluasi, dipantau, dan dibuka dalam editor lokal untuk prototipe cepat.

Ini memungkinkan Anda untuk menyimpan dan mengulangi perilaku AI generatif secara terpisah dari kode aplikasi Anda , menawarkan alur kerja pengembangan AI yang ramping.

Lebih banyak konteks di sini.

QuickStart

Untuk pengguna VS Code:

• Instasi Ekstensi AIConfig Editor vs Kode

Jika Anda tidak menggunakan VS Code, ikuti langkah -langkah ini:

1. pip3 install python-aiconfig
2. export OPENAI_API_KEY='your-key'
3. aiconfig edit

Memulai tutorial

Lihatlah tutorial yang memulai lengkap.

Memasang

 # for python installation:
pip3 install python-aiconfig
# or using poetry: poetry add python-aiconfig

# for node.js installation:
npm install aiconfig
# or using yarn: yarn add aiconfig

Catatan: Anda perlu menginstal paket python aiconfig untuk menggunakan editor aiconfig untuk membuat dan mengulangi pada petunjuk bahkan jika Anda berencana untuk menggunakan node SDK untuk berinteraksi dengan AIConfig Anda dalam kode aplikasi Anda.

Anda harus menentukan kunci API OpenAI Anda. Buka terminal Anda dan tambahkan baris ini, ganti 'Anda-api-key-here' dengan kunci API Anda: export OPENAI_API_KEY='your-api-key-here' .

Open Aiconfig Editor di VS Code

AIConfig Editor membantu Anda secara visual membuat dan mengedit prompt dan parameter model yang disimpan sebagai AIConfigs.

1. Instal editor AIConfig untuk VS Code
2. Buka file travel.aiconfig.json di VS Code. Ini akan secara otomatis membuka editor AIConfig di VS Code.

Jalankan petunjuk di editor

Dengan editor Aiconfig, Anda dapat membuat dan menjalankan petunjuk dengan rantai dan variabel yang kompleks. Editor Auto-Saves setiap 15 detik dan Anda dapat menyimpan secara manual dengan tombol Simpan. Pembaruan Anda akan tercermin dalam file AIConfig JSON. Lihat contoh rantai cepat yang dibuat dengan editor ini:

File Aiconfig JSON yang sesuai:

travel.aiconfig.json

{
  "name": "NYC Trip Planner",
  "description": "Intrepid explorer with ChatGPT and AIConfig",
  "schema_version": "latest",
  "metadata": {
    "models": {
      "gpt-3.5-turbo": {
        "model": "gpt-3.5-turbo",
        "top_p": 1,
        "temperature": 1
      },
      "gpt-4": {
        "model": "gpt-4",
        "max_tokens": 3000
      }
    },
    "default_model": "gpt-3.5-turbo"
  },
  "prompts": [
    {
      "name": "get_activities",
      "input": "Tell me 10 fun attractions to do in NYC."
    },
    {
      "name": "gen_itinerary",
      "input": "Generate an itinerary ordered by {{order_by}} for these activities: {{get_activities.output}}.",
      "metadata": {
        "model": "gpt-4",
        "parameters": {
          "order_by": "geographic location"
        }
      }
    }
  ]
}

Gunakan Aiconfig SDK

Anda dapat menjalankan petunjuk dari AIConfig yang dihasilkan dari AIConfig Editor dalam kode aplikasi Anda menggunakan Python atau Node SDK. Kami telah menunjukkan Python SDK di bawah ini.

 # load your AIConfig
from aiconfig import AIConfigRuntime , InferenceOptions
import asyncio

config = AIConfigRuntime . load ( "travel.aiconfig.json" )

# setup streaming
inference_options = InferenceOptions ( stream = True )

# run a prompt
async def gen_nyc_itinerary ():
  gen_itinerary_response = await config . run ( "gen_itinerary" , params = { "order_by" : "location" }, options = inference_options , run_with_dependencies = True )

asyncio . run ( gen_nyc_itinerary ())

# save the aiconfig to disk and serialize outputs from the model run
config . save ( 'updated_travel.aiconfig.json' , include_outputs = True )

Edit aiconfig Anda

Anda dapat dengan cepat mengulangi dan mengedit aiconfig Anda menggunakan editor Aiconfig.

1. Buka terminal Anda
2. Jalankan Perintah Ini: aiconfig edit --aiconfig-path=travel.aiconfig.json

Tab baru dengan editor Aiconfig terbuka di browser default Anda di http: // localhost: 8080/dengan petunjuk, logika rantai, dan pengaturan dari travel.aiconfig.json . Editor Auto-Saves setiap 15 detik dan Anda dapat menyimpan secara manual dengan tombol Simpan. Pembaruan Anda akan tercermin dalam file AIConfig.

Mengapa ini penting?

Saat ini, kode aplikasi secara ketat digabungkan dengan pengaturan Gen AI untuk aplikasi-prompt, parameter, dan logika model khusus semuanya dikeluarkan dengan kode aplikasi.

• menghasilkan peningkatan kompleksitas
• membuatnya sulit untuk beralih pada petunjuk atau mencoba model yang berbeda dengan mudah
• membuatnya sulit untuk mengevaluasi kinerja prompt/model

Aiconfig membantu melepaskan kompleksitas dengan memisahkan petunjuk, parameter model, dan logika model khusus dari aplikasi Anda.

• Sederhanakan kode aplikasi - Cukup hubungi config.run()
• Buka aiconfig di taman bermain untuk beralih dengan cepat
• Kontrol versi dan evaluasi aiconfig - ini adalah artefak AI untuk aplikasi Anda.

Fitur

• Prompt sebagai konfigurasi : format JSON standar untuk menyimpan prompt dan pengaturan model dalam kontrol sumber.
• Editor untuk Prompt : Prototipe dan dengan cepat mengulangi petunjuk Anda dan pengaturan model dengan editor Aiconfig.
• Model-agnostik dan multimodal SDK : Python & node SDK untuk menggunakan aiconfig dalam kode aplikasi Anda. Aiconfig dirancang untuk menjadi model-agnostik dan multi-modal , sehingga Anda dapat memperpanjangnya untuk bekerja dengan model AI generatif apa pun, termasuk teks, gambar, dan audio.
• Extensible : Perluas Aiconfig untuk bekerja dengan model apa pun dan titik akhir Anda sendiri.
• Pengembangan Kolaboratif : Aiconfig memungkinkan orang yang berbeda untuk mengerjakan petunjuk dan pengembangan aplikasi, dan berkolaborasi bersama dengan berbagi artefak aiconfig .

Menggunakan kasus

Aiconfig memudahkan untuk bekerja dengan rantai cepat yang kompleks, berbagai model, dan alur kerja AI generatif canggih. Mulailah dengan resep -resep ini dan akses lebih banyak di /cookbooks :

• Rag dengan Aiconfig
• Fungsi panggilan dengan openai
• Cli chatbot
• Routing yang cepat
• Konsistensi multi-llm
• Safety Guardrails for LLMS - Llama Guard
• Rantai verifikasi

Skema

• Skema Aiconfig

Model yang didukung

Aiconfig mendukung model -model berikut di luar kotak. Lihat contoh:

• Model OpenAI (GPT-3, GPT-3.5, GPT-4, Dalle3)
• Gemini
• Llama
• Penjaga Llama
• Google Palm Models (Palm Chat)
• Memeluk model tugas pembuatan teks wajah (mis. Mistral-7b)

Jika Anda perlu menggunakan model yang tidak disediakan di luar kotak, Anda dapat menerapkan ModelParser untuk itu. Lihat instruksi tentang cara mendukung model baru di Aiconfig.

Kemungkinan diperpanjang

Aiconfig dirancang untuk disesuaikan dan diperluas untuk kasus penggunaan Anda. Panduan ekstensibilitas masuk ke lebih detail.

Saat ini, ada 3 cara inti untuk memperluas aiconfig:

1. Mendukung Model Lain - Tentukan Ekstensi ModelParser
2. Penangan Acara Callback - Menelusuri dan Pemantauan
3. Metadata Kustom - Simpan Bidang Kustom di aiconfig

Berkontribusi pada Aiconfig

Kami sedang mengembangkan AIConfig dengan cepat! Kami menyambut kontribusi dan ide PR untuk bagaimana meningkatkan proyek.

• Bergabunglah dengan percakapan di Discord - saluran #aiconfig
• Buka masalah untuk permintaan fitur
• Baca panduan berkontribusi kami

Pembaruan terbaru

Kami saat ini merilis versi baru dari paket pypi dan npm setiap minggu. Perbedaan panas keluar saat selesai.

• Changelog: Lihat pembaruan terbaru kami.
• Roadmap: Apa yang kami bangun selanjutnya - jangan ragu untuk berkontribusi. Lihat Panduan Kontribusi kami di sini.