EdgeChains

edgechains軟件包

---

加入我們的不和諧 - 我們是生成AI中最友好，最優秀的開發小組之一！

通過視頻直接跳入我們的示例！！

Edgechains的生產準備好了嗎？

與許多框架不同 - 我們在Honojs和Jsonnet上構建了它，它們分別由Cloudflare和Google構建。因此，即使您不信任我...您也可以信任他們；）

我們不建立自己的JSON或特定DSL的風味（本質上是脆弱的），並給出了彙編步驟。我們的基礎圖書館是堅固且穩定的。

了解edgechains

在Edgechains，我們採用一種獨特的方法來生成AI-我們認為生成AI是部署和配置管理挑戰，而不是UI和庫設計模式挑戰。我們以在不同域中解決此問題的技術（Kubernetes Config Management）的基礎，並將其帶入生成性AI。 Edgechains建立在JSONNET的頂部，最初是由Google基於其在Borg基礎架構中管理大量配置代碼的經驗而構建的。

Edgechains給您：

• 只有一個腳本文件：Edgechains被設計為非常簡單 - 執行可準備生產的Genai應用程序只是一個腳本文件和一個JSONNET文件。您會感到驚喜！
• 提示的版本控制：提示用JSONNET編寫。使它們易於版本且可擴展。
• 自動並行性：Edgechains使用WebAssembly Runtime自動將CPU，GPU和TPU的LLM鍊和經過經過經過經過經驗的任務並行。
• 容錯：EdgeChains的設計為容易容忍，即使系統中的某些請求失敗，也可以繼續重試和退縮。
• 可伸縮性：Edgechains設計為可擴展性，可用於在大量API，及時長度和矢量數據集上編寫您​​的經營鏈應用程序。

為什麼您需要及時和連鎖工程

大多數是生成AI新手的人都認為，使用OpenAI或其他LLM的方法就是簡單地提出問題並神奇地回答。答案是非常不同且複雜的。

迅速工程的複雜性

Generative AI，OpenAI和LLM需要您以非常特定的方式編寫提示。這些寫提示的方法都非常參與和高度複雜 - 實際上，這是如此復雜，以至於為此發表了研究論文。例如：

• 理性與行為 - 反應風格提示連鎖
• 海德提示鏈 - 精確的零射擊大量檢索無相關標籤
• frugalgpt：如何使用大語言模型，同時降低成本和提高性能

迅速爆炸- 太多的LLM提示太多

此外，這些及時的技術適用於一種LLM，但不適用於其他LLM。對於以特定方式為GPT-3.5編寫的提示和鏈條，需要重寫Llama2才能實現相同的目標。這導致提示在數字上爆炸，使它們在版本和管理方面具有挑戰性。

及時漂移

提示會隨著時間而變化。這稱為提示漂移。有足夠的已發表研究表明Chatgpt的行為如何改變。您的基礎架構必須能夠通過此漂移足以發行/更改。如果您使用庫，即在許多層中隱藏提示的地方，那麼您將發現無法執行此操作。即使您什麼也沒做，您的生產代碼也會隨著時間的流逝而腐爛。

- 隨著時間的流逝，Chatgpt的行為如何改變？

生產的可檢驗性

生產中最大的挑戰之一是如何繼續測試您的提示和鏈條並迅速迭代它們。如果您的提示位於許多庫和抽象層下，這是不可能的。但是，如果您的提示在代碼之外使用並且是聲明性的，那麼這很容易做到。實際上，在Edgechains中，您可以將整個提示和鏈邏輯放在S3或API中。

令牌成本和測量

每個提示或鏈條都具有與之相關的令牌成本。您可能會認為某個提示非常好...但是它可能會消耗大量令牌。例如，經過思考的鏈條提示至少會消耗3倍的輸出令牌，這是正常提示。您需要在框架中內置細粒度的跟踪和測量，以便能夠管理它。 Edgechains內置了這一點。

---

設定

1. 將存儲庫克隆到公共github存儲庫中（或fork https://github.com/arakoodev/edgechains/fork）。

  git clone https://github.com/arakoodev/EdgeChains/

2. 轉到項目文件夾

  cd EdgeChains

運行chatwithpdf示例

本節為開發人員提供了有關如何使用PDF功能使用聊天的說明。通過遵循以下步驟，您可以將功能無縫集成到項目中。

---

1. 轉到chatwithpdfexample

  cd JS/edgechains/examples/chat-with-pdf/

2. 使用NPM安裝軟件包

  npm install

3. 設置您的秘密secrets.jsonnet

  local SUPABASE_API_KEY = "your supabase api key here";


  local OPENAI_API_KEY = "your openai api key here";
    
  local SUPABASE_URL = "your supabase url here";
    
  {
    "supabase_api_key":SUPABASE_API_KEY,
    "supabase_url":SUPABASE_URL,
    "openai_api_key":OPENAI_API_KEY,
  }
   

4. 數據庫配置

• 確保您在Supabase上設置了一個PostgreSQL矢量數據庫。
• 轉到Supabase中的SQL編輯器選項卡。
• 使用新的查詢按鈕創建一個新的查詢。
• 將以下查詢粘貼到編輯器中，並使用右下角的運行按鈕運行。

 create table if not exists documents (
    id bigint primary key generated always as identity,
    content text,
    embedding vector (1536)
  );

create or replace function public.match_documents (
   query_embedding vector(1536), 
  similarity_threshold float, 
    match_count int
)
returns table (
  id bigint,
  content text,
  similarity float
)
language sql
as $$
  select
  id,
  content,
   1- (documents.embedding <=> query_embedding) as similarity
  from documents
  where 1 - (documents.embedding <=> query_embedding) > similarity_threshold
  order by documents.embedding <=> query_embedding
  limit match_count;
  $$;

• 您應該在“結果”選項卡中看到成功消息。

用法

1. 啟動服務器：

   npm run start

2. 點擊GET端點。

   http://localhost:3000/chatWithpdf ? question=who is nirmala sitarama
   

• 然後，您可以使用NPM運行啟動運行ChatWithPDF示例，然後繼續與示例聊天。

配x請記住：如果您再次運行代碼，請評論插入式核心函數；否則，PDF數據將再次將其推向Supabase向量數據。

貢獻指南

如果您想為Edgechains做出貢獻，請確保閱讀CLA的貢獻。該項目遵守Edgechains行為準則。通過參加，您應該維護此代碼。

我們使用GitHub問題來跟踪請求和錯誤。

？致謝

我們要對以下個人和項目的貢獻和靈感表示衷心的感謝：

• 我們從Nextjs的精神中汲取靈感。
• 我們向所有支持和豐富該項目的貢獻者表示感謝。
• 尊重Langchain，人類，馬賽克和其他開源LLM社區。我們非常感謝分享您的知識，並且永遠不會拒絕任何人。

執照

Edgechains獲得了GNU Affero通用公共許可證v3.0和商業軟件的許可。有關商業許可，請與我們聯繫或在此Github中提出問題。