EdgeChains
0.30.1
Treten Sie unserer Zwietracht bei - wir sind eine der freundlichsten und schönsten Entwicklergruppen in generativen KI!
Im Gegensatz zu vielen Frameworks haben wir es auf Honojs und JSONNET erstellt, die beide von CloudFlare bzw. Google erstellt wurden. Also auch wenn du mir nicht vertraust ... du kannst ihnen vertrauen;)
Wir bauen nicht unseren eigenen Geschmack von JSON oder einem bestimmten DSL (das von Natur aus zerbrechlich ist) und geben Ihnen Kompilierungsschritte. Unsere zugrunde liegenden Bibliotheken sind solide und stabil.
Bei Edgechains verfolgen wir einen einzigartigen Ansatz für die generative KI - wir glauben, dass generative KI eher eine Herausforderung für Bereitstellungs- und Konfigurationsmanagement als eine Herausforderung für die Benutzeroberfläche und ein Bibliotheksdesign ist. Wir bauen auf einer Technologie auf, die dieses Problem in einer anderen Domäne gelöst hat - Kubernetes -Konfigurationsmanagement - und bringen dies auf generative KI. Edgechains basiert auf JSONNET, das ursprünglich von Google basierend auf ihrer Erfahrung in der Verwaltung einer Vielzahl von Konfigurationscode in der Borg -Infrastruktur erstellt wurde.
Edgechains gibt Ihnen:
Die meisten Menschen, die neu in generativer KI sind, denken, dass der Weg, OpenAI oder andere LLMs zu verwenden, darin besteht, ihm einfach eine Frage zu stellen und es auf magische Weise zu beantworten. Die Antwort ist äußerst unterschiedlich und komplex.
Generative KI, OpenAI und LLMs müssen Sie auf eine sehr bestimmte Weise schreiben. Jede dieser Möglichkeiten, Eingabeaufforderungen zu schreiben, ist sehr involviert und sehr komplex - es ist in der Tat so komplex, dass es dafür Forschungsarbeiten veröffentlicht wird. Z.B:
Darüber hinaus funktionieren diese schnellen Techniken auf einer Art von LLMs, aber nicht auf anderen LLMs. Für EG-Eingabeaufforderungen und Ketten, die auf eine bestimmte Weise für GPT-3.5 geschrieben sind, müssen für LLAMA2 umgeschrieben werden , um dasselbe Ziel zu erreichen . Dies führt dazu, dass die Aufforderung zum Explodieren in der Anzahl explodiert und sie die Version und Verwaltung herausfordernd macht.
Aufforderungen ändern sich im Laufe der Zeit. Dies wird sofortige Drift genannt. Es gibt genügend veröffentlichte Untersuchungen, um zu zeigen, wie sich das Verhalten von Chatgpt ändert. Ihre Infrastruktur muss in der Lage sein, mit dieser Drift zu verstellen/zu ändern. Wenn Sie Bibliotheken verwenden, in denen Eingabeaufforderungen unter vielen Schichten verborgen sind, werden Sie dies unmöglich finden, dies zu tun. Ihr Produktionscode wird sich im Laufe der Zeit verrotten, auch wenn Sie nichts getan haben.
-Wie ändert sich das Verhalten von Chatgpt im Laufe der Zeit?
Eine der großen Herausforderungen in der Produktion besteht darin, Ihre Eingabeaufforderungen und Ketten weiter zu testen und sie schnell zu iterieren. Wenn Ihre Eingabeaufforderungen unter vielen Schichten von Bibliotheken und Abstraktionen sitzen, ist dies unmöglich. Wenn Ihre Eingabeaufforderungen außerhalb des Codes leben und deklarativ sind, ist dies einfach. Tatsächlich können Sie in Edgechains Ihre gesamte Eingabeaufforderung und Kettenlogik in S3 oder einer API sitzen lassen.
Jede Eingabeaufforderung oder Kette verfügt über einen Tokenkosten. Sie mögen denken, dass eine bestimmte Eingabeaufforderung sehr gut ist ... aber sie kann eine große Menge an Token konsumieren. Zum Beispiel konsumieren die Eingabeaufforderungen in den Gedankenstilen mindestens 3x so viele Ausgangs-Token wie eine normale Eingabeaufforderung. Sie müssen eine feinkörnige Verfolgung und Messung in Ihr Framework integriert haben, um dies zu verwalten. Edgechains hat das eingebaut.
git clone https://github.com/arakoodev/EdgeChains/
cd EdgeChains
Dieser Abschnitt enthält Anweisungen für Entwickler, wie der Chat mit PDF -Funktion verwendet wird. Wenn Sie diese Schritte ausführen, können Sie die Funktionalität nahtlos in Ihre Projekte integrieren.
cd JS/edgechains/examples/chat-with-pdf/
npm install
secrets.jsonnet local SUPABASE_API_KEY = "your supabase api key here";
local OPENAI_API_KEY = "your openai api key here";
local SUPABASE_URL = "your supabase url here";
{
"supabase_api_key":SUPABASE_API_KEY,
"supabase_url":SUPABASE_URL,
"openai_api_key":OPENAI_API_KEY,
}
create table if not exists documents (
id bigint primary key generated always as identity,
content text,
embedding vector (1536)
);
create or replace function public.match_documents (
query_embedding vector(1536),
similarity_threshold float,
match_count int
)
returns table (
id bigint,
content text,
similarity float
)
language sql
as $$
select
id,
content,
1- (documents.embedding <=> query_embedding) as similarity
from documents
where 1 - (documents.embedding <=> query_embedding) > similarity_threshold
order by documents.embedding <=> query_embedding
limit match_count;
$$;
Starten Sie den Server:
npm run start Schlagen Sie den GET -Endpunkt.
http://localhost:3000/chatWithpdf ? question=who is nirmala sitarama
Wenn Sie zu Edgechains beitragen möchten, lesen Sie den Beitrag CLA. Dieses Projekt hält sich dem Edgechains -Verhaltenskodex an. Durch die Teilnahme wird erwartet, dass Sie diesen Code aufrechterhalten.
Wir verwenden GitHub -Probleme für die Verfolgung von Anforderungen und Fehler.
Wir möchten uns den folgenden Personen und Projekten für ihre Beiträge und Inspirationen aufrichtig bedanken:
Edgechains ist unter der GNU Affero General Public Lizenz v3.0 und als kommerzielle Software lizenziert. Für die kommerzielle Lizenzierung kontaktieren Sie uns bitte oder wecken Sie ein Problem in diesem GitHub.
