LLM Repl

Llm repl

Apa ini?

Tujuan dari proyek ini adalah untuk membuat REPR interaktif yang sederhana (loop baca-eval-crint) yang memungkinkan pengguna untuk berinteraksi dengan berbagai model bahasa besar ( LLM ). Proyek ini terutama dibangun di atas dua perpustakaan Python: Langchain, yang menyediakan antarmuka yang nyaman dan fleksibel untuk bekerja dengan LLMS, dan Rich yang menyediakan antarmuka yang ramah pengguna untuk repl. Rept juga dapat diluncurkan dalam mode headledss dan dapat berinteraksi dengan menggunakan WebSocket .

Saat ini, proyek ini sedang dalam pengembangan dan hanya mendukung interaksi dengan chatgpt tetapi telah menjadi struktur untuk memudahkan untuk memperpanjangnya menggunakan LLMS apa pun, termasuk yang kustom (dengan memperluas BaseLLM di ./src/llm_repl/llms/__init__.py ).

ChatGPT dapat berinteraksi dengan menggunakan model gpt-3.5-turbo dan gpt4 (untuk pengguna yang mendapatkan Beta API GPT-4).

Fitur

Rept mendukung fitur -fitur berikut:

Mode streaming

Rept tidak akan menunggu model untuk menyelesaikan menghasilkan output, tetapi akan mulai mencetak output segera setelah tersedia.

Memori percakapan

Rept mendukung memori percakapan. Ini berarti bahwa model akan mengingat percakapan sebelumnya dan akan menggunakannya untuk menghasilkan respons berikutnya.

Pencetakan yang cantik

Rept mendukung penurunan harga rendering input dan output.

PS: Dalam versi awal repl ini, sintaks penurunan markdown penuh hanya saat menjalankan alat dalam mode non-streaming . Dalam mode streaming hanya bagian kode yang akan dicetak cukup.

Mode tanpa kepala

Rept dapat dijalankan dalam mode tanpa kepala. Ini berarti bahwa ia dapat berinteraksi dengan menggunakan Websocket. Ini berguna untuk mengintegrasikan replikan dengan aplikasi lain / UI lainnya.

Untuk meluncurkan Mode Rept In Headless, jalankan perintah berikut:

llm-repl --repl websocket --port < PORT >

Model Switching on the Fly

SEGERA HADIR...

Riwayat percakapan

SEGERA HADIR...

Instalasi

pip install llm-repl

Penggunaan

Pertama ekspor kunci API OpenAI Anda sebagai variabel lingkungan:

 export OPENAI_API_KEY= < OPENAI_KEY >

Kemudian jalankan repl:

llm-repl

Atau jika Anda ingin menggunakan model tertentu:

llm-repl --llm chatgpt4

Jalankan di dalam Docker

docker run -it --rm -e OPENAI_API_KEY= < OPENAI_KEY > phate/llm-repl

Atau jika Anda ingin sumber variabel lingkungan dari file, pertama -tama buat file yang disebut .env dengan konten berikut:

OPENAI_API_KEY= < OPENAI_KEY >

Dan kemudian jalankan perintah berikut:

docker run -it --rm --env-file .env phate/llm-repl

Perkembangan

Untuk menginstal mode pengembangan repl in

Kemudian instal paket dalam mode pengembangan:

pip install -e " .[DEV] "

Sebelum berkontribusi, pastikan untuk menjalankan perintah berikut:

pre-commit install