EdgeChains

edgechains软件包

---

加入我们的不和谐 - 我们是Generative AI中最友好，最优秀的开发组之一！

通过视频直接跳入我们的示例！！

Edgechains的生产准备好了吗？

与许多框架不同 - 我们在Honojs和Jsonnet上构建了它，它们分别由Cloudflare和Google构建。因此，即使您不信任我...您也可以信任他们；）

我们不建立自己的JSON或特定DSL的风味（本质上是脆弱的），并给出了汇编步骤。我们的基础图书馆是坚固且稳定的。

了解edgechains

在Edgechains，我们采用一种独特的方法来生成AI-我们认为生成AI是部署和配置管理挑战，而不是UI和库设计模式挑战。我们以在不同域中解决此问题的技术（Kubernetes Config Management）的基础，并将其带入生成性AI。 Edgechains建立在JSONNET的顶部，最初是由Google基于其在Borg基础架构中管理大量配置代码的经验而构建的。

Edgechains给您：

• 只有一个脚本文件：Edgechains被设计为非常简单 - 执行可准备生产的Genai应用程序只是一个脚本文件和一个JSONNET文件。您会感到惊喜！
• 提示的版本控制：提示用JSONNET编写。使它们易于版本且可扩展。
• 自动并行性：Edgechains使用WebAssembly Runtime自动将CPU，GPU和TPU的LLM链和经过经过经过经过经验的任务并行。
• 容错：EdgeChains的设计为容易容忍，即使系统中的某些请求失败，也可以继续重试和退缩。
• 可伸缩性：Edgechains设计为可扩展性，可用于在大量API，及时长度和矢量数据集上编写您​​的经营链应用程序。

为什么您需要及时和连锁工程

大多数是生成AI新手的人都认为，使用OpenAI或其他LLM的方法就是简单地提出问题并神奇地回答。答案是非常不同且复杂的。

迅速工程的复杂性

Generative AI，OpenAI和LLM需要您以非常特定的方式编写提示。这些写提示的方法都非常参与和高度复杂 - 实际上，这是如此复杂，以至于为此发表了研究论文。例如：

• 理性与行为 - 反应风格提示连锁
• 海德提示链 - 精确的零射击大量检索无相关标签
• frugalgpt：如何使用大语言模型，同时降低成本和提高性能

迅速爆炸- 太多的LLM提示太多

此外，这些及时的技术适用于一种LLM，但不适用于其他LLM。对于以特定方式为GPT-3.5编写的提示和链条，需要重写Llama2才能实现相同的目标。这导致提示在数字上爆炸，使它们在版本和管理方面具有挑战性。

及时漂移

提示会随着时间而变化。这称为提示漂移。有足够的已发表研究表明Chatgpt的行为如何改变。您的基础架构必须能够通过此漂移足以发行/更改。如果您使用库，即在许多层中隐藏提示的地方，那么您将发现无法执行此操作。即使您什么也没做，您的生产代码也会随着时间的流逝而腐烂。

- 随着时间的流逝，Chatgpt的行为如何改变？

生产的可检验性

生产中最大的挑战之一是如何继续测试您的提示和链条并迅速迭代它们。如果您的提示位于许多库和抽象层下，这是不可能的。但是，如果您的提示在代码之外使用并且是声明性的，那么这很容易做到。实际上，在Edgechains中，您可以将整个提示和链逻辑放在S3或API中。

令牌成本和测量

每个提示或链条都具有与之相关的令牌成本。您可能会认为某个提示非常好...但是它可能会消耗大量令牌。例如，经过思考的链条提示至少会消耗3倍的输出令牌，这是正常提示。您需要在框架中内置细粒度的跟踪和测量，以便能够管理它。 Edgechains内置了这一点。

---

设置

1. 将存储库克隆到公共github存储库中（或fork https://github.com/arakoodev/edgechains/fork）。

  git clone https://github.com/arakoodev/EdgeChains/

2. 转到项目文件夹

  cd EdgeChains

运行chatwithpdf示例

本节为开发人员提供了有关如何使用PDF功能使用聊天的说明。通过遵循以下步骤，您可以将功能无缝集成到项目中。

---

1. 转到chatwithpdfexample

  cd JS/edgechains/examples/chat-with-pdf/

2. 使用NPM安装软件包

  npm install

3. 设置您的秘密secrets.jsonnet

  local SUPABASE_API_KEY = "your supabase api key here";


  local OPENAI_API_KEY = "your openai api key here";
    
  local SUPABASE_URL = "your supabase url here";
    
  {
    "supabase_api_key":SUPABASE_API_KEY,
    "supabase_url":SUPABASE_URL,
    "openai_api_key":OPENAI_API_KEY,
  }
   

4. 数据库配置

• 确保您在Supabase上设置了一个PostgreSQL矢量数据库。
• 转到Supabase中的SQL编辑器选项卡。
• 使用新的查询按钮创建一个新的查询。
• 将以下查询粘贴到编辑器中，并使用右下角的运行按钮运行。

 create table if not exists documents (
    id bigint primary key generated always as identity,
    content text,
    embedding vector (1536)
  );

create or replace function public.match_documents (
   query_embedding vector(1536), 
  similarity_threshold float, 
    match_count int
)
returns table (
  id bigint,
  content text,
  similarity float
)
language sql
as $$
  select
  id,
  content,
   1- (documents.embedding <=> query_embedding) as similarity
  from documents
  where 1 - (documents.embedding <=> query_embedding) > similarity_threshold
  order by documents.embedding <=> query_embedding
  limit match_count;
  $$;

• 您应该在“结果”选项卡中看到成功消息。

用法

1. 启动服务器：

   npm run start

2. 点击GET端点。

   http://localhost:3000/chatWithpdf ? question=who is nirmala sitarama
   

• 然后，您可以使用NPM运行启动运行ChatWithPDF示例，然后继续与示例聊天。

配x请记住：如果您再次运行代码，请评论插入式核心函数；否则，PDF数据将再次将其推向Supabase向量数据。

贡献指南

如果您想为Edgechains做出贡献，请确保阅读CLA的贡献。该项目遵守Edgechains行为准则。通过参加，您应该维护此代码。

我们使用GitHub问题来跟踪请求和错误。

？致谢

我们要对以下个人和项目的贡献和灵感表示衷心的感谢：

• 我们从Nextjs的精神中汲取灵感。
• 我们向所有支持和丰富该项目的贡献者表示感谢。
• 尊重Langchain，人类，马赛克和其他开源LLM社区。我们非常感谢分享您的知识，并且永远不会拒绝任何人。

执照

Edgechains获得了GNU Affero通用公共许可证v3.0和商业软件的许可。有关商业许可，请与我们联系或在此Github中提出问题。