หน้าแรก>การเขียนโปรแกรมที่เกี่ยวข้อง>ซอร์สโค้ดอื่น ๆ
ดาวน์โหลด

แพ็คเกจ Edgechains

เข้าร่วม Discord ของเรา - เราเป็นหนึ่งในกลุ่ม Dev ที่เป็นมิตรและอร่อยที่สุดใน Generative AI!

กระโดดตรงเข้าไปในตัวอย่างของเราด้วยวิดีโอ !!

การผลิต Edgechains พร้อมหรือยัง?

แตกต่างจากกรอบงานมากมาย - เราสร้างมันขึ้นมาบน Honojs และ JsonNet ซึ่งทั้งสองอย่างถูกสร้างขึ้นโดย CloudFlare และ Google ตามลำดับ ดังนั้นแม้ว่าคุณจะไม่เชื่อใจฉัน ... คุณสามารถเชื่อใจพวกเขาได้;)

เราไม่ได้สร้างรสชาติของ JSON หรือ DSL ที่เฉพาะเจาะจง (ซึ่งเปราะบางโดยเนื้อแท้) และให้ขั้นตอนการรวบรวม ห้องสมุดพื้นฐานของเรานั้นแข็งแกร่งและมั่นคง

ทำความเข้าใจเกี่ยวกับ edgechains

ที่ Edgechains เราใช้วิธีการที่ไม่เหมือนใครในการสร้าง AI - เราคิดว่า Generative AI เป็นความท้าทายในการปรับใช้และการกำหนดค่าการจัดการมากกว่าการท้าทายรูปแบบการออกแบบ UI และห้องสมุด เราสร้างด้านบนของเทคโนโลยีที่แก้ไขปัญหานี้ในโดเมนที่แตกต่างกัน - การจัดการการกำหนดค่า Kubernetes - และนำสิ่งนั้นมาสู่ AI กำเนิด Edgechains สร้างขึ้นบน JsonNet ซึ่งสร้างขึ้นโดย Google โดยใช้ประสบการณ์การจัดการรหัสการกำหนดค่าจำนวนมากในโครงสร้างพื้นฐาน Borg

Edgechains ให้คุณ:

  • ไฟล์สคริปต์เพียงหนึ่งไฟล์ : Edgechains ได้รับการออกแบบให้ง่ายมาก - การดำเนินการแอปพลิเคชัน Genai พร้อมการผลิตเป็นเพียงไฟล์สคริปต์เดียวและไฟล์ JSONNET หนึ่งไฟล์ คุณจะประหลาดใจ!
  • การกำหนดเวอร์ชันสำหรับพรอมต์ : พรอมต์จะถูกเขียนใน JSONNET ทำให้พวกเขาใช้งานได้ง่ายและแตกต่างกันอย่างง่ายดาย
  • Parallelism อัตโนมัติ : Edgechains ขนานกับ LLM เชน LLM โดยอัตโนมัติและงานห่วงโซ่ที่มีความคิดข้าม CPU, GPU และ TPU โดยใช้ WebAssembly Runtime
  • ความทนทานต่อความผิดพลาด : Edgechains ได้รับการออกแบบให้ทนต่อความผิดพลาดและสามารถลองใหม่และย้อนกลับได้แม้ว่าคำขอบางอย่างในระบบจะล้มเหลว
  • ความสามารถในการปรับขนาด : EdgeChains ได้รับการออกแบบให้ปรับขนาดได้และสามารถใช้ในการเขียนแอปพลิเคชันโซ่ของคุณบน API จำนวนมากความยาวพรอมต์และชุดข้อมูลเวกเตอร์

ทำไมคุณถึงต้องการวิศวกรรมที่รวดเร็วและห่วงโซ่

คนส่วนใหญ่ที่ยังใหม่ต่อการกำเนิด AI คิดว่าวิธีการใช้ OpenAI หรือ LLM อื่น ๆ คือการถามคำถามและตอบกลับอย่างน่าอัศจรรย์ คำตอบนั้นแตกต่างกันมากและซับซ้อน

ความซับซ้อนของวิศวกรรมที่รวดเร็ว

Generative AI, OpenAI และ LLM ต้องการให้คุณเขียนพรอมต์ของคุณด้วยวิธีที่เฉพาะเจาะจงมาก แต่ละวิธีในการเขียนพรอมต์นั้นมีส่วนเกี่ยวข้องและมีความซับซ้อนสูง - ในความเป็นจริงแล้วมีความซับซ้อนมากจนมีงานวิจัยที่ตีพิมพ์สำหรับเรื่องนี้ เช่น:

  • เหตุผลและการกระทำ - โซ่พร้อมสไตล์ตอบสนอง
  • Hyde Prompt Chains - การดึงข้อมูลที่มีความหนาแน่นเป็นศูนย์อย่างแม่นยำโดยไม่มีฉลากที่เกี่ยวข้อง
  • Frugalgpt: วิธีใช้แบบจำลองภาษาขนาดใหญ่ในขณะที่ลดต้นทุนและปรับปรุงประสิทธิภาพ

การระเบิดที่รวดเร็ว - มีพรอมต์มากเกินไปสำหรับ LLMs มากเกินไป

ยิ่งไปกว่านั้นเทคนิคการแจ้งเตือนเหล่านี้ใช้งานได้กับ LLM แบบหนึ่งชนิด แต่อย่าทำงานกับ LLM อื่น ๆ สำหรับ EG Prompts & โซ่ที่เขียนด้วยวิธีเฉพาะสำหรับ GPT-3.5 จะต้องถูกเขียนใหม่สำหรับ Llama2 เพื่อให้บรรลุเป้าหมายเดียวกัน สิ่งนี้ทำให้เกิดการระเบิดในจำนวนทำให้พวกเขาท้าทายเวอร์ชันและจัดการ

กระตุ้น การดริฟท์

แจ้งให้เปลี่ยนไปตามกาลเวลา สิ่งนี้เรียกว่าพรอมต์ดริฟท์ มีงานวิจัยที่เผยแพร่เพียงพอที่จะแสดงให้เห็นว่าพฤติกรรมของ Chatgpt เปลี่ยนแปลงไปอย่างไร โครงสร้างพื้นฐานของคุณจะต้องมีความสามารถเพียงพอที่จะเวอร์ชัน/เปลี่ยนแปลงด้วยการดริฟท์นี้ หากคุณใช้ไลบรารีที่ซึ่งมีการแจ้งเตือนภายใต้หลาย ๆ เลเยอร์คุณจะพบว่ามันเป็นไปไม่ได้ที่จะทำสิ่งนี้ รหัสการผลิตของคุณจะเน่าเมื่อเวลาผ่านไปแม้ว่าคุณจะไม่ได้ทำอะไรก็ตาม

-พฤติกรรมของ CHATGPT เปลี่ยนไปเมื่อเวลาผ่านไปอย่างไร?

ความสามารถในการทดสอบในการผลิต

หนึ่งในความท้าทายที่ยิ่งใหญ่ในการผลิตคือการทดสอบพรอมต์และโซ่ของคุณและทำซ้ำอย่างรวดเร็ว หากพรอมต์ของคุณนั่งอยู่ใต้ห้องสมุดและนามธรรมหลายชั้นสิ่งนี้เป็นไปไม่ได้ แต่ถ้าพรอมต์ของคุณ อาศัยอยู่นอกรหัส และมีการประกาศนี่เป็นเรื่องง่ายที่จะทำ ในความเป็นจริงใน Edgechains คุณสามารถมีตรรกะที่รวดเร็วและโซ่ทั้งหมดของคุณนั่งใน S3 หรือ API

ต้นทุนโทเค็นและการวัด

แต่ละพรอมต์หรือโซ่มีค่าใช้จ่ายโทเค็นที่เกี่ยวข้อง คุณอาจคิดว่าพรอมต์บางอย่างดีมาก ... แต่อาจใช้โทเค็นจำนวนมาก ตัวอย่างเช่นสไตล์โซ่ของความคิดที่ได้รับการใช้อย่างน้อย 3x เป็น โทเค็นเอาท์พุท จำนวนมากตามพรอมต์ปกติ คุณต้องมีการติดตามและการวัดที่ดีในกรอบของคุณเพื่อให้สามารถจัดการสิ่งนี้ได้ Edgechains มีสิ่งนี้ในตัว

การตั้งค่า

  1. โคลน repo ลงในที่เก็บ GitHub สาธารณะ (หรือส้อม https://github.com/arakoodev/edgechains/fork) 
  git clone https://github.com/arakoodev/EdgeChains/
  1. ไปที่โฟลเดอร์โครงการ 
  cd EdgeChains

รันตัวอย่าง chatwithpdf

ส่วนนี้ให้คำแนะนำสำหรับนักพัฒนาเกี่ยวกับวิธีการใช้การแชทกับคุณสมบัติ PDF โดยทำตามขั้นตอนเหล่านี้คุณสามารถรวมฟังก์ชันการทำงานเข้ากับโครงการของคุณได้อย่างราบรื่น

  1. ไปที่ chatwithpdfexample 
  cd JS/edgechains/examples/chat-with-pdf/
  1. ติดตั้งแพ็คเกจด้วย NPM 
  npm install
  1. ตั้งค่าความลับของคุณใน secrets.jsonnet 
  local SUPABASE_API_KEY = "your supabase api key here";


  local OPENAI_API_KEY = "your openai api key here";
    
  local SUPABASE_URL = "your supabase url here";
    
  {
    "supabase_api_key":SUPABASE_API_KEY,
    "supabase_url":SUPABASE_URL,
    "openai_api_key":OPENAI_API_KEY,
  }
  1. การกำหนดค่าฐานข้อมูล
  • ตรวจสอบให้แน่ใจว่าคุณมีฐานข้อมูลเวกเตอร์ PostgreSQL ที่ตั้งค่าที่ Supabase
  • ไปที่แท็บ SQL Editor ใน Supabase
  • สร้างแบบสอบถามใหม่โดยใช้ปุ่ม Query ใหม่
  • วางแบบสอบถามต่อไปนี้ลงในตัวแก้ไขแล้วเรียกใช้โดยใช้ปุ่มเรียกใช้ที่มุมล่างขวา 
 create table if not exists documents (
    id bigint primary key generated always as identity,
    content text,
    embedding vector (1536)
  );

create or replace function public.match_documents (
   query_embedding vector(1536), 
  similarity_threshold float, 
    match_count int
)
returns table (
  id bigint,
  content text,
  similarity float
)
language sql
as $$
  select
  id,
  content,
   1- (documents.embedding <=> query_embedding) as similarity
  from documents
  where 1 - (documents.embedding <=> query_embedding) > similarity_threshold
  order by documents.embedding <=> query_embedding
  limit match_count;
  $$;
  • คุณควรเห็นข้อความความสำเร็จในแท็บผลลัพธ์

การใช้งาน

  1. เริ่มต้นเซิร์ฟเวอร์: 

    npm run start

  2. กดจุด GET 

    http://localhost:3000/chatWithpdf ? question=who is nirmala sitarama
  • จากนั้นคุณสามารถเรียกใช้ตัวอย่าง chatwithpdf โดยใช้ NPM Run Start และแชทต่อไปกับตัวอย่าง PDF

ข้อควรจำ: แสดงความคิดเห็นฟังก์ชั่น InsertTosupabase หากคุณเรียกใช้รหัสอีกครั้ง มิฉะนั้นข้อมูล PDF จะถูกส่งอีกครั้งไปยังข้อมูลเวกเตอร์ supabase

แนวทางการบริจาค

หากคุณต้องการมีส่วนร่วมใน Edgechains ตรวจสอบให้แน่ใจว่าได้อ่าน CLA ที่มีส่วนร่วม โครงการนี้ปฏิบัติตามจรรยาบรรณของ Edgechains โดยการเข้าร่วมคุณคาดว่าจะสนับสนุนรหัสนี้

เราใช้ปัญหา GitHub สำหรับการติดตามคำขอและข้อบกพร่อง

- กิตติกรรมประกาศ

เราขอแสดงความขอบคุณอย่างจริงใจต่อบุคคลและโครงการต่อไปนี้สำหรับการมีส่วนร่วมและแรงบันดาลใจของพวกเขา:

  • เราวาดแรงบันดาลใจจากจิตวิญญาณของ NextJs
  • เราขยายความซาบซึ้งต่อผู้มีส่วนร่วมทุกคนที่ได้รับการสนับสนุนและเสริมสร้างโครงการนี้
  • เคารพ Langchain, มานุษยวิทยา, โมเสกและส่วนที่เหลือของชุมชน LLM โอเพนซอร์ส เรารู้สึกขอบคุณอย่างยิ่งที่แบ่งปันความรู้ของคุณและไม่เคยทำให้ใครออกไป

ใบอนุญาต

Edgechains ได้รับใบอนุญาตภายใต้ใบอนุญาตสาธารณะ GNU Affero ทั่วไป v3.0 และเป็นซอฟต์แวร์เชิงพาณิชย์ สำหรับการออกใบอนุญาตเชิงพาณิชย์โปรดติดต่อเราหรือยกประเด็นใน GitHub นี้

ขยาย
ข้อมูลเพิ่มเติม
แอปที่เกี่ยวข้อง
แนะนำสำหรับคุณ
ข้อมูลที่เกี่ยวข้อง ทั้งหมด