node llama cpp ดาวน์โหลด - node llama cpp ดาวน์โหลดซอร์สโค้ด

node llama cpp

ซอร์สโค้ดอื่น ๆ

3.2.0

ดาวน์โหลด

โหนด-llama-cpp

เรียกใช้โมเดล AI ภายในเครื่องของคุณ

_{การเชื่อมโยงที่สร้างไว้ล่วงหน้ามีทางเลือกให้กับการสร้างจากแหล่งที่มาด้วย cmake}

v3.0 มาแล้ว!

คุณสมบัติ

เรียกใช้ LLM ภายในเครื่องของคุณ
รองรับ Metal, CUDA และ Vulkan
มีไบนารีที่สร้างไว้ล่วงหน้าพร้อมทางเลือกในการสร้างจากแหล่งที่มา โดยไม่ต้องใช้ node-gyp หรือ Python
ปรับให้เข้ากับฮาร์ดแวร์ของคุณโดยอัตโนมัติ ไม่จำเป็นต้องกำหนดค่าใดๆ
ชุดที่สมบูรณ์ของทุกสิ่งที่คุณต้องการเพื่อใช้ LLM ในโครงการของคุณ
ใช้ CLI เพื่อแชทกับโมเดลโดยไม่ต้องเขียนโค้ดใดๆ
อัปเดตด้วย llama.cpp ล่าสุด ดาวน์โหลดและคอมไพล์รีลีสล่าสุดด้วยคำสั่ง CLI เดียว
บังคับใช้โมเดลเพื่อสร้างเอาต์พุตในรูปแบบที่แยกวิเคราะห์ได้ เช่น JSON หรือแม้แต่บังคับให้เป็นไปตามสคีมา JSON ที่เฉพาะเจาะจง
จัดเตรียมโมเดลพร้อมฟังก์ชันที่สามารถเรียกใช้ได้ตามความต้องการเพื่อดึงข้อมูลการดำเนินการ
การฝังการสนับสนุน
ประสบการณ์นักพัฒนาที่ยอดเยี่ยมพร้อมการสนับสนุน TypeScript เต็มรูปแบบและเอกสารประกอบที่ครบถ้วน
มากขึ้น

เอกสารประกอบ

คู่มือการเริ่มต้นใช้งาน
การอ้างอิง API
CLI ช่วยด้วย
บล็อก
บันทึกการเปลี่ยนแปลง
แผนการทำงาน

ลองโดยไม่ต้องติดตั้ง

แชทกับโมเดลในเทอร์มินัลของคุณโดยใช้คำสั่งเดียว:

 npx -y โหนด-llama-cpp แชท

การติดตั้ง

 npm ติดตั้ง node-llama-cpp

แพ็คเกจนี้มาพร้อมกับไบนารีที่สร้างไว้ล่วงหน้าสำหรับ macOS, Linux และ Windows

หากไม่มีไบนารีให้ใช้งานสำหรับแพลตฟอร์มของคุณ ระบบจะสำรองให้ดาวน์โหลด llama.cpp รุ่นต่างๆ และสร้างจากแหล่งที่มาด้วย cmake หากต้องการปิดใช้งานลักษณะการทำงานนี้ ให้ตั้งค่าตัวแปรสภาพแวดล้อม NODE_LLAMA_CPP_SKIP_DOWNLOAD เป็น true

การใช้งาน

 นำเข้า {fileURLToPath} จาก "url"; นำเข้าเส้นทางจาก "path"; นำเข้า {getLlama, LlamaChatSession} จาก "node-llama-cpp"; const __dirname = path.dirname(fileURLToPath(import.meta.url));const llama = รอ getLlama();const model = รอ llama.loadModel({modelPath: path.join(__dirname, "models", "Meta-Llama-3.1-8B-Instruct.Q4_K_M.gguf")});const context = รอ model.createContext();const session = new LlamaChatSession({contextSequence: context.getSequence()}); const q1 = "สวัสดี สบายดีไหม?";console.log("User: " + q1);const a1 = กำลังรอ session.prompt(q1);console.log("AI: " + a1);const q2 = "สรุปสิ่งที่คุณพูด";console.log("ผู้ใช้: " + q2);const a2 = รอ session.prompt(q2 );console.log("AI: " + a2);