web llm chat
1.0.0
การสนทนา AI ส่วนตัว, ในเบราว์เซอร์อย่างเต็มที่
แชทตอนนี้
WebLlm Chat เป็นอินเทอร์เฟซแชท AI ส่วนตัวที่ผสมผสาน WebLLM เข้ากับการออกแบบที่ใช้งานง่ายใช้ประโยชน์จาก WebGPU เพื่อเรียกใช้รุ่นภาษาขนาดใหญ่ (LLMS) ในเบราว์เซอร์ของคุณ เพลิดเพลินไปกับประสบการณ์การสนทนา AI ที่ไม่เคยมีมาก่อนเป็นส่วนตัวและเข้าถึงได้
WebLlm Chat เป็นโครงการบุกเบิกที่รวมความสามารถในแบ็กเอนด์ที่แข็งแกร่งของ WebLlm เข้ากับอินเทอร์เฟซที่ใช้งานง่ายของ NextChat ในฐานะที่เป็นส่วนหนึ่งของตระกูล MLC.AI ที่กว้างขึ้นโครงการนี้มีส่วนช่วยในภารกิจของเราในการทำให้เป็นประชาธิปไตยเทคโนโลยี AI โดยการทำให้เครื่องมือที่ทรงพลังสามารถเข้าถึงได้โดยตรงกับผู้ใช้ปลายทาง ด้วยการรวมเข้ากับ NextChat การแชท WebLLM ไม่เพียง แต่ช่วยเพิ่มประสบการณ์การแชท แต่ยังขยายขอบเขตสำหรับการปรับใช้รูปแบบภาษาที่โฮสต์และปรับแต่งเองได้
การแชท WebLlm รองรับการสร้าง WEBLLM คุณสามารถค้นหารายการทั้งหมดได้ที่นี่
WebLlm Chat รองรับโมเดลภาษาที่กำหนดเองผ่าน MLC-LLM ทำตามขั้นตอนต่อไปนี้เพื่อใช้โมเดลที่กำหนดเองในสภาพแวดล้อมท้องถิ่นของคุณ:
(ไม่บังคับ) รวบรวมโมเดลเป็นรูปแบบ MLC โดยทำตามคำแนะนำ
Host REST API ผ่าน MLC-LLM โดยทำตามคำแนะนำ
ไปที่การแชท WebLLM เลือก "การตั้งค่า" ในแถบด้านข้างจากนั้นเลือก "MLC-LLM REST API (ขั้นสูง)" เป็น "ประเภทรุ่น" และพิมพ์ URL ปลายทาง REST API จากขั้นตอนที่ 2
# 1. install nodejs and yarn first
# 2. config local env vars in `.env.local`
# 3. run
yarn install
yarn dev คุณสามารถสร้างแอปพลิเคชันเป็นงานสร้างต่อไปโดยใช้ yarn build หรือเป็นไซต์คงที่โดยใช้ yarn export สำหรับข้อมูลเพิ่มเติมตรวจสอบเอกสารประกอบ Next.js;
docker build -t webllm_chat .
docker run -d -p 3000:3000 webllm_chatคุณสามารถเริ่มบริการเบื้องหลังพร็อกซี:
docker build -t webllm_chat .
docker run -d -p 3000:3000
-e PROXY_URL=http://localhost:7890
webllm_chatหากพร็อกซีของคุณต้องการรหัสผ่านให้ใช้:
-e PROXY_URL= " http://127.0.0.1:7890 user pass " การแชทของ Webllm เติบโตขึ้นจากการมีส่วนร่วมของชุมชน เรามุ่งมั่นที่จะส่งเสริมชุมชนที่ครอบคลุมและเป็นนวัตกรรมซึ่งนักพัฒนาและผู้ที่ชื่นชอบ AI สามารถร่วมมือกันมีส่วนร่วมและผลักดันขอบเขตของสิ่งที่เป็นไปได้ในเทคโนโลยี AI เข้าร่วมกับเราใน Discord เพื่อเชื่อมต่อกับนักพัฒนาเพื่อนและมีส่วนร่วมในโครงการ
WebLlm Chat เป็นโครงการสหายของ Webllm และสร้างขึ้นจากงานที่น่าทึ่งของ NextChat เราขยายความกตัญญูอย่างจริงใจให้กับนักพัฒนาและผู้มีส่วนร่วมของโครงการเหล่านี้สำหรับความพยายามอันล้ำค่าของพวกเขาในการพัฒนาสาขาของ AI ที่ใช้เบราว์เซอร์และสร้างอินเทอร์เฟซแชทที่ใช้งานง่าย
ยิ่งไปกว่านั้นโครงการนี้เป็นไปได้เพียงเพราะไหล่ของระบบนิเวศโอเพนซอร์ซที่เรายืนอยู่ เราต้องการขอบคุณชุมชน Apache TVM และนักพัฒนาของ TVM Unity Tofe สมาชิกชุมชนโอเพนซอร์ซ ML ทำให้แบบจำลองเหล่านี้เปิดเผยต่อสาธารณะ Pytorch และการกอดชุมชนใบหน้าทำให้แบบจำลองเหล่านี้สามารถเข้าถึงได้ เราขอขอบคุณทีมที่อยู่เบื้องหลัง Vicuna, Sentencepiece, Llama, Alpaca นอกจากนี้เรายังขอขอบคุณชุมชน WebAssembly, Emscripten และ WebGPU สุดท้ายต้องขอบคุณ Dawn และนักพัฒนา WebGPU
