EdgeChains
0.30.1
Присоединяйтесь к нашим разногласиям - мы одна из самых дружелюбных и хороших групп разработчиков в генеративном ИИ!
В отличие от многих фреймворков - мы построили его на вершине Honojs и Jsonnet, оба из которых построены Cloudflare и Google соответственно. Так что даже если ты мне не доверяешь ... ты можешь им доверять;)
Мы не строим свой собственный вкус JSON или определенного DSL (который по своей природе хрупкий) и даем шаги компиляции. Наши основные библиотеки - каменные и стабильные.
В Edgechains мы используем уникальный подход к генеративному ИИ - мы думаем, что генеративный ИИ - это задача управления развертыванием и конфигурацией, а не задача пользовательского интерфейса и разработки библиотеки. Мы строим в верхней части технологии, которая решила эту проблему в другом домене - управление конфигурацией Kubernetes - и доставляем ее в генеральный ИИ. Edgechains строится на вершине Jsonnet, первоначально построенной Google на основе их опыта, управляя огромным количеством кода конфигурации в инфраструктуре Borg.
Edgechains дает вам:
Большинство людей, которые являются новичками в генеративном ИИ, думают, что способ использования OpenAI или других LLMS - это просто задать ему вопрос и ответить на него волшебным образом. Ответ чрезвычайно другой и сложный.
Генеративные ИИ, OpenAI и LLM должны написать свою подсказку очень конкретными способами. Каждый из этих способов писать подсказки очень вовлечен и очень сложный - на самом деле настолько сложно, что для этого публикуются исследовательские работы. Например:
Более того, эти быстрые методы работают над одним видом LLM, но не работают на других LLMS. Например, EG-подсказки и цепочки, которые написаны определенным образом для GPT-3.5, должны быть переписаны для Llama2 для достижения той же цели . Это заставляет побуждения взорваться по числу, что делает их сложными для версии и управления.
Подсказки меняются со временем. Это называется быстрым дрейфом. Достаточно опубликованных исследований, чтобы показать, как меняется поведение CHATGPT. Ваша инфраструктура должна быть достаточно способна для версии/изменения с этим дрейфом. Если вы используете библиотеки, где подсказки скрыты под множеством слоев, то вы найдете невозможным это сделать. Ваш производственный код со временем будет гнить, даже если вы ничего не сделали.
-Как поведение Chatgpt меняется с течением времени?
Одна из главных проблем в производстве - как продолжать тестировать ваши подсказки и цепочки и быстро выполнить их. Если ваши подсказки сидят под множеством слоев библиотек и абстракций, это невозможно. Но если ваши подсказки живут вне кода и являются декларативными, это легко сделать. На самом деле, в Edgechains вы можете иметь всю свою подсказку и логику цепи в S3 или API.
Каждая подсказка или цепочка имеет стоимость токена, связанная с ним. Вы можете подумать, что определенная подсказка очень хорошая ... но это может потреблять огромное количество жетонов. Например, подсказка в цепочке стиля в стиле размышления потребляет как минимум в 3 раза столько же токенов , сколько обычная подсказка. Вы должны иметь мелкозернистое отслеживание и измерение, встроенные в вашу структуру, чтобы иметь возможность управлять этим. Edgechains имеет этот встроенный.
git clone https://github.com/arakoodev/EdgeChains/
cd EdgeChains
В этом разделе представлены инструкции для разработчиков о том, как использовать чат с функцией PDF. Следуя этим шагам, вы можете плавно интегрировать функциональность в свои проекты.
cd JS/edgechains/examples/chat-with-pdf/
npm install
secrets.jsonnet local SUPABASE_API_KEY = "your supabase api key here";
local OPENAI_API_KEY = "your openai api key here";
local SUPABASE_URL = "your supabase url here";
{
"supabase_api_key":SUPABASE_API_KEY,
"supabase_url":SUPABASE_URL,
"openai_api_key":OPENAI_API_KEY,
}
create table if not exists documents (
id bigint primary key generated always as identity,
content text,
embedding vector (1536)
);
create or replace function public.match_documents (
query_embedding vector(1536),
similarity_threshold float,
match_count int
)
returns table (
id bigint,
content text,
similarity float
)
language sql
as $$
select
id,
content,
1- (documents.embedding <=> query_embedding) as similarity
from documents
where 1 - (documents.embedding <=> query_embedding) > similarity_threshold
order by documents.embedding <=> query_embedding
limit match_count;
$$;
Запустить сервер:
npm run start Нажмите на конечную точку GET .
http://localhost:3000/chatWithpdf ? question=who is nirmala sitarama
Если вы хотите внести свой вклад в Edgechains, обязательно прочитайте вклад CLA. Этот проект придерживается кодекса поведения Edgechains. Участвуя, вы должны поддержать этот кодекс.
Мы используем проблемы GitHub для отслеживания запросов и ошибок.
Мы хотели бы выразить нашу искреннюю благодарность следующим людям и проектам за их вклад и вдохновение:
Edgechains лицензируется в рамках общей публичной лицензии GNU Affero V3.0 и в качестве коммерческого программного обеспечения. Для коммерческого лицензирования, пожалуйста, свяжитесь с нами или поднимите проблему в этом GitHub.
