ดาวน์โหลด edgen - ดาวน์โหลดซอร์สโค้ด edgen

edgen

ซอร์สโค้ดอื่น ๆ

v0.1.4

ดาวน์โหลด

เซิร์ฟเวอร์ Genai API ในพื้นที่: การแทนที่ Drop-in สำหรับ OpenAI's API สำหรับ Genai ในท้องถิ่น

- เอกสาร บล็อก | ความไม่ลงรอยกัน ROADMAP

Edgenchat แอพแชทในท้องถิ่นขับเคลื่อนโดย⚡edgen

OpenAI ที่สอดคล้องกับ API : ⚡edgenใช้ API ที่เข้ากันได้ของ OpenAI ทำให้สามารถเปลี่ยนแบบดรอปอินได้
การสนับสนุนหลายจุดสิ้นสุด : ⚡edgenเปิดเผยจุดสิ้นสุด AI หลายจุดเช่นการแชทเสร็จสมบูรณ์ (LLMs) และคำพูดเป็นข้อความ (Whisper) สำหรับการถอดรหัสเสียง
นางแบบ AGNOSTIC : LLMS (LLAMA2, MISTRAL, MIXTRAL ... ), คำพูดเป็นข้อความ (Whisper) และอื่น ๆ อีกมากมาย
การอนุมานที่ดีที่สุด : คุณไม่จำเป็นต้องเรียนปริญญาเอกในการเพิ่มประสิทธิภาพ AI ⚡edgenบทคัดย่อความซับซ้อนของการเพิ่มประสิทธิภาพการอนุมานสำหรับฮาร์ดแวร์แพลตฟอร์มและรุ่นที่แตกต่างกัน
Modular : ⚡edgenเป็น แบบจำลอง และไม่เชื่อฟัง รันไทม์ สามารถเพิ่มโมเดลใหม่ได้อย่างง่ายดายและ⚡edgenสามารถเลือกรันไทม์ที่ดีที่สุดสำหรับฮาร์ดแวร์ของผู้ใช้: คุณไม่จำเป็นต้องติดตามเกี่ยวกับรุ่นล่าสุดและ ML Runtimes - ⚡edgenจะทำเพื่อคุณ
โมเดลแคช : ⚡edgen Caches รุ่นพื้นฐานในพื้นที่ดังนั้น 1 รุ่นสามารถเพิ่มกำลังแอพที่แตกต่างกันหลายร้อยตัว - ผู้ใช้ไม่จำเป็นต้องดาวน์โหลดโมเดลเดียวกันหลายครั้ง
Native : ⚡edengenอยู่ในนั้นเป็นสนิมและถูกรวบรวมไว้ในแพลตฟอร์มยอดนิยมทั้งหมด: Windows, MacOS และ Linux ไม่จำเป็นต้องมีนักเทียบท่า
อินเทอร์เฟซกราฟิก : ส่วนต่อประสานผู้ใช้กราฟิกเพื่อช่วยให้ผู้ใช้จัดการโมเดลจุดปลายและสิทธิ์ของพวกเขาได้อย่างมีประสิทธิภาพ

⚡edgenช่วยให้คุณใช้ Genai ในแอพของคุณ ได้ อย่างสมบูรณ์ในอุปกรณ์ของผู้ใช้ของคุณ ฟรี และด้วย ความพร้อมด้านข้อมูล เป็นการแทนที่แบบเลื่อนลงสำหรับ OpenAI (ใช้ API ที่เข้ากันได้) รองรับฟังก์ชั่นต่าง ๆ เช่นการสร้างข้อความการพูดเป็นข้อความและทำงานบน Windows, Linux และ MacOS

คุณสมบัติ

การแคชเซสชัน: ⚡edgenรักษาประสิทธิภาพสูงสุดด้วยบริบทที่ยิ่งใหญ่ (ประวัติการแชทขนาดใหญ่) โดยการแคชเซสชัน เซสชั่นถูกตรวจพบอัตโนมัติในการทำงานของประวัติการแชท
การสนับสนุน GPU: Cuda, Vulkan โลหะ

จุดปลาย

[แชท] ความสำเร็จ
[เสียง] การถอดความ
[EMBEDDINGS] EMBEDDINGS
[ภาพ] รุ่น
[แชท] การแชทหลายครั้ง
[เสียง] คำพูด

รุ่นที่รองรับ

ตรวจสอบเอกสาร

แพลตฟอร์มที่รองรับ

หน้าต่าง
ลินเวกซ์
แม็กอส

หัวข้อร้อน

ทำไมต้อง Genai ในท้องถิ่น?

Data Private : การอนุมานอย่างต่อเนื่องหมายถึง ข้อมูลของผู้ใช้ ไม่เคยออกจากอุปกรณ์
ปรับขนาดได้ : ผู้ใช้มากขึ้นเรื่อย ๆ ? ไม่จำเป็นต้องเพิ่มโครงสร้างพื้นฐานการประมวลผลแบบคลาวด์ เพียงแค่ให้ผู้ใช้ของคุณใช้ฮาร์ดแวร์ของตัวเอง
เชื่อถือได้ : ไม่มีอินเทอร์เน็ตไม่มีการหยุดทำงานไม่มีขีด จำกัด อัตราไม่มีปุ่ม API
ฟรี : มันทำงานในเครื่องฮาร์ดแวร์ที่ผู้ใช้เป็นเจ้าของแล้ว

เร็ว

ดาวน์โหลดและเริ่ม⚡edgen
แชทกับ⚡edgenchat

พร้อมที่จะเริ่มแอปพลิเคชัน Genai ของคุณเองหรือยัง? เช็คเอาต์ไกด์ของเรา!

⚡การใช้งาน:

 Usage: edgen [<command>] [<args>]

Toplevel CLI commands and options. Subcommands are optional. If no command is provided "serve" will be invoked with default options.

Options:
  --help            display usage information

Commands:
  serve             Starts the edgen server. This is the default command when no
                    command is provided.
  config            Configuration-related subcommands.
  version           Prints the edgen version to stdout.
  oasgen            Generates the Edgen OpenAPI specification.

edgen serve บริการการใช้งาน:

 Usage: edgen serve [-b <uri...>] [-g]

Starts the edgen server. This is the default command when no command is provided.

Options:
  -b, --uri         if present, one or more URIs/hosts to bind the server to.
                    `unix://` (on Linux), `http://`, and `ws://` are supported.
                    For use in scripts, it is recommended to explicitly add this
                    option to make your scripts future-proof.
  -g, --nogui       if present, edgen will not start the GUI; the default
                    behavior is to start the GUI.
  --help            display usage information

การสนับสนุน GPU

⚡edgenยังรองรับการรวบรวมและดำเนินการกับ GPU เมื่อสร้างจากแหล่งที่มาผ่าน Vulkan, Cuda และ Metal คุณสมบัติการขนส่งสินค้าต่อไปนี้เปิดใช้งาน GPU:

llama_vulkan - ดำเนินการโมเดล LLM โดยใช้ Vulkan ต้องมีการติดตั้ง Vulkan SDK
llama_cuda - ดำเนินการโมเดล LLM โดยใช้ CUDA ต้องมีชุดเครื่องมือ CUDA ที่จะติดตั้ง
llama_metal - ดำเนินการรุ่น LLM โดยใช้โลหะ
whisper_cuda - ดำเนินการโมเดล Whisper โดยใช้ cuda ต้องมีชุดเครื่องมือ CUDA ที่จะติดตั้ง

โปรดทราบว่าในขณะนี้ llama_vulkan , llama_cuda และ llama_metal ไม่สามารถเปิดใช้งานได้ในเวลาเดียวกัน

ตัวอย่างการใช้งาน (อาคารจากแหล่งที่มาคุณต้องติดตั้งสิ่งที่จำเป็นต้องมีก่อน):

 cargo run --features llama_vulkan --release -- serve

ภาพรวมสถาปัตยกรรม

มีส่วนช่วย

หากคุณไม่ทราบว่าจะเริ่มต้นที่ไหนให้ตรวจสอบแผนงานของ Edgen! ก่อนที่คุณจะเริ่มทำงานกับบางสิ่งให้ดูว่ามีปัญหา/คำตอบแบบดึงที่มีอยู่หรือไม่ เข้าสู่ Discord เพื่อตรวจสอบกับทีมหรือดูว่ามีคนจัดการกับมันอยู่แล้วหรือไม่