LLM Repl

LLM REPL

นี่คืออะไร?

เป้าหมายของโครงการนี้คือการสร้าง REPL แบบอินเทอร์แอคที ฟ แบบง่าย ๆ โครงการส่วนใหญ่ถูกสร้างขึ้นที่ด้านบนของสองไลบรารี Python: Langchain ซึ่งให้อินเทอร์เฟซที่สะดวกและยืดหยุ่นสำหรับการทำงานกับ LLMS และ RICH ซึ่งให้อินเทอร์เฟซที่ใช้งานง่ายสำหรับ REPL REPL สามารถเปิดตัวในโหมด Headledss และสามารถโต้ตอบกับการใช้ WebSocket ได้

ปัจจุบันโครงการอยู่ในระหว่างการพัฒนาและสนับสนุนการโต้ตอบกับ CHATGPT เท่านั้น แต่เป็นโครงสร้างที่จะทำให้ง่ายต่อการใช้งาน LLM ใด ๆ รวมถึงที่กำหนดเอง (โดยการขยาย BaseLLM ใน ./src/llm_repl/llms/__init__.py llm_repl/llms/__init__

CHATGPT สามารถโต้ตอบได้โดยใช้รุ่น gpt-3.5-turbo และ gpt4 (สำหรับผู้ใช้ที่ได้รับ GPT-4 API เบต้า)

คุณสมบัติ

Repl รองรับคุณสมบัติต่อไปนี้:

โหมดสตรีมมิ่ง

REPL จะไม่รอให้โมเดลเสร็จสิ้นการสร้างเอาต์พุต แต่มันจะเริ่มพิมพ์เอาต์พุตทันทีที่พร้อมใช้งาน

หน่วยความจำการสนทนา

Repl รองรับหน่วยความจำการสนทนา ซึ่งหมายความว่าโมเดลจะจดจำการสนทนาก่อนหน้านี้และจะใช้เพื่อสร้างการตอบกลับครั้งต่อไป

การพิมพ์สวย ๆ

Repl รองรับการแสดงผล markdown ทั้งอินพุตและเอาต์พุต

PS: ในเวอร์ชันเริ่มต้นของ REPL นี้ไวยากรณ์ Markdown แบบเต็มจะเป็นเมื่อใช้เครื่องมือในโหมด non-streaming ในโหมด streaming เฉพาะส่วนโค้ดเท่านั้นที่จะพิมพ์สวย

โหมดหัวขาด

REPL สามารถเรียกใช้ในโหมด Headless ซึ่งหมายความว่าสามารถโต้ตอบกับการใช้ WebSocket ได้ สิ่งนี้มีประโยชน์สำหรับการรวม REPL กับแอปพลิเคชันอื่น ๆ / UIs อื่น ๆ

ในการเปิดโหมด RELPL IN Headless ให้เรียกใช้คำสั่งต่อไปนี้:

llm-repl --repl websocket --port < PORT >

รุ่นเปิดการบิน

เร็วๆ นี้...

ประวัติการสนทนา

เร็วๆ นี้...

การติดตั้ง

pip install llm-repl

การใช้งาน

ก่อนอื่นส่งออกคีย์ OpenAI API ของคุณเป็นตัวแปรสภาพแวดล้อม:

 export OPENAI_API_KEY= < OPENAI_KEY >

จากนั้นเรียกใช้ REPL:

llm-repl

หรือถ้าคุณต้องการใช้โมเดลเฉพาะ:

llm-repl --llm chatgpt4

วิ่งเข้าไปใน Docker

docker run -it --rm -e OPENAI_API_KEY= < OPENAI_KEY > phate/llm-repl

หรือหากคุณต้องการจัดหาตัวแปรสภาพแวดล้อมจากไฟล์ก่อนอื่นให้สร้างไฟล์ที่เรียกว่า .env ด้วยเนื้อหาต่อไปนี้:

OPENAI_API_KEY= < OPENAI_KEY >

จากนั้นเรียกใช้คำสั่งต่อไปนี้:

docker run -it --rm --env-file .env phate/llm-repl

การพัฒนา

เพื่อติดตั้งโหมดการพัฒนา REPL ในการพัฒนา

จากนั้นติดตั้งแพ็คเกจในโหมดการพัฒนา:

pip install -e " .[DEV] "

ก่อนที่จะมีส่วนร่วมโปรดตรวจสอบให้แน่ใจว่าได้เรียกใช้คำสั่งต่อไปนี้:

pre-commit install