EdgeChains
0.30.1
Bergabunglah dengan Perselisihan Kami - Kami adalah salah satu kelompok dev yang paling ramah dan paling baik di AI generatif!
Tidak seperti banyak kerangka kerja - kami membangunnya di atas Honojs dan JSonnet, yang keduanya dibangun masing -masing oleh CloudFlare dan Google. Jadi, bahkan jika kamu tidak mempercayaiku ... kamu bisa mempercayai mereka;)
Kami tidak membangun rasa JSON kami sendiri atau DSL tertentu (yang secara inheren rapuh) dan memberikan langkah kompilasi. Perpustakaan kami yang mendasarinya sangat solid dan stabil.
Di Edgechains, kami mengambil pendekatan unik untuk AI generatif - kami pikir AI generatif adalah tantangan manajemen penyebaran dan konfigurasi daripada tantangan pola desain UI dan perpustakaan. Kami membangun di atas teknologi yang telah memecahkan masalah ini di domain yang berbeda - manajemen konfigurasi Kubernetes - dan membawanya ke AI generatif. Edgechains dibangun di atas JSonnet, awalnya dibangun oleh Google berdasarkan pengalaman mereka mengelola sejumlah besar kode konfigurasi dalam infrastruktur BORG.
Edgechains memberi Anda:
Kebanyakan orang yang baru mengenal AI generatif berpikir bahwa cara untuk menggunakan Openai atau LLMS lainnya adalah dengan hanya mengajukan pertanyaan dan membalasnya secara ajaib. Jawabannya sangat berbeda dan kompleks.
Generatif AI, OpenAI, dan LLMS membutuhkan Anda untuk menulis prompt Anda dengan cara yang sangat spesifik. Masing -masing cara untuk menulis prompt ini sangat terlibat dan sangat kompleks - sebenarnya sangat kompleks sehingga ada makalah penelitian yang diterbitkan untuk ini. Misalnya:
Selain itu, teknik -teknik cepat ini bekerja pada satu jenis LLMS, tetapi jangan bekerja pada LLM lain. Untuk EG Prompt & Rantai yang ditulis dengan cara tertentu untuk GPT-3.5 perlu ditulis ulang untuk LLAMA2 untuk mencapai tujuan yang sama . Ini menyebabkan petunjuk untuk meledak dalam jumlah, membuat mereka menantang untuk versi dan mengelola.
Meminta perubahan dari waktu ke waktu. Ini disebut drift prompt. Ada cukup banyak penelitian yang diterbitkan untuk menunjukkan bagaimana perubahan perilaku ChatGPT. Infrastruktur Anda harus cukup mampu untuk versi/perubahan dengan penyimpangan ini. Jika Anda menggunakan perpustakaan, di mana petunjuk disembunyikan di bawah banyak lapisan, maka Anda akan merasa tidak mungkin melakukan ini. Kode produksi Anda akan membusuk dari waktu ke waktu, bahkan jika Anda tidak melakukan apa pun.
-Bagaimana perubahan perilaku ChatGPT dari waktu ke waktu?
Salah satu tantangan besar dalam produksi adalah bagaimana terus menguji petunjuk & rantai Anda dan mengulanginya dengan cepat. Jika petunjuk Anda duduk di bawah banyak lapisan perpustakaan dan abstraksi, ini tidak mungkin. Tetapi jika petunjuk Anda tinggal di luar kode dan deklaratif, ini mudah dilakukan. Bahkan, di Edgechains, Anda dapat memiliki seluruh logika prompt & rantai Anda duduk di S3 atau API.
Setiap prompt atau rantai memiliki biaya token yang terkait dengannya. Anda mungkin berpikir bahwa prompt tertentu sangat bagus ... tetapi mungkin mengonsumsi banyak token. Misalnya, staf gaya rantai-dipikirkan mengkonsumsi setidaknya 3x token output sebanyak prompt normal. Anda harus memiliki pelacakan dan pengukuran berbutir halus yang dibangun ke dalam kerangka kerja Anda untuk dapat mengelola ini. Edgechains memiliki ini.
git clone https://github.com/arakoodev/EdgeChains/
cd EdgeChains
Bagian ini memberikan instruksi untuk pengembang tentang cara memanfaatkan obrolan dengan fitur PDF. Dengan mengikuti langkah -langkah ini, Anda dapat mengintegrasikan fungsionalitas dengan mulus ke dalam proyek Anda.
cd JS/edgechains/examples/chat-with-pdf/
npm install
secrets.jsonnet local SUPABASE_API_KEY = "your supabase api key here";
local OPENAI_API_KEY = "your openai api key here";
local SUPABASE_URL = "your supabase url here";
{
"supabase_api_key":SUPABASE_API_KEY,
"supabase_url":SUPABASE_URL,
"openai_api_key":OPENAI_API_KEY,
}
create table if not exists documents (
id bigint primary key generated always as identity,
content text,
embedding vector (1536)
);
create or replace function public.match_documents (
query_embedding vector(1536),
similarity_threshold float,
match_count int
)
returns table (
id bigint,
content text,
similarity float
)
language sql
as $$
select
id,
content,
1- (documents.embedding <=> query_embedding) as similarity
from documents
where 1 - (documents.embedding <=> query_embedding) > similarity_threshold
order by documents.embedding <=> query_embedding
limit match_count;
$$;
Mulai server:
npm run start Tekan GET Endpoint.
http://localhost:3000/chatWithpdf ? question=who is nirmala sitarama
Jika Anda ingin berkontribusi pada Edgechains, pastikan untuk membaca kontribusi CLA. Proyek ini menganut kode edgechains. Dengan berpartisipasi, Anda diharapkan untuk menegakkan kode ini.
Kami menggunakan masalah GitHub untuk permintaan pelacakan dan bug.
Kami ingin mengucapkan terima kasih yang tulus kepada individu dan proyek berikut atas kontribusi dan inspirasi mereka:
Edgechains dilisensikan di bawah GNU Affero General Public License v3.0 dan sebagai perangkat lunak komersial. Untuk lisensi komersial, silakan hubungi kami atau angkat masalah di github ini.
